模拟量子计算机能否实现实值神经网络并因此进行超计算?

人工智能 神经网络 量子计算 超计算
2021-11-15 12:44:06

据说,https://www.springer.com/us/book/9780817639495《Neural Networks and Analog Computation. Beyond the Turing Limit》的精髓在于神经网络的连续/物理/实值权重可以诱导超级图灵能力。当前的数字处理器无法实现实值神经网络,它们只能近似它们。构建模拟经典计算机的努力很少。但量子计算机很有可能是模拟的。那么 - 是否存在研究模拟量子计算机上真正的实值神经网络的研究趋势?

谷歌对我的努力毫无用处,因为它不理解“真正的实值神经网络”的真正含义,它只提供了与我的问题无关的实值与复值神经网络文章。

1个回答

数字和模拟

关于模拟计算的问题很重要。

由于三个引人注目的品质,数字电路在 1975 年至 2015 年的四个十年中作为模拟电路的替代品而广受欢迎。

  • 更高的抗噪性
  • 更高的漂移抗扰度(准确度)
  • 存储值不会泄漏

这很快导致了数字信号标准、通用计算架构和芯片上的中央处理单元。后者,结合一组寄存器来执行基本操作,就是微处理器这个词的含义。

量子与计算

关于量子计算,有一些有趣的提议将数字门打包成更小的体积,但是计算机可以由电子大小的晶体管制成的想法可能有点不可思议。这就是量子计算一词的含义。这种程度的小型化将不得不违背粒子物理学的原则,这些原则得到了积累的经验证据的强烈支持。其中包括海森堡的测不准原理。

所有的计算都涉及到量子,但在统计上。为了使数字电路中的晶体管在统计上稳定,必须有足够数量的硅原子,其中原子的摩尔浓度至少为 0.1%,用于掺杂硅以创建 PN 结。否则晶体管将无法可靠切换。

在撰写本文时,大多数大规模生产的 VLSI 芯片的光刻限制约为 7 nm。晶体硅,原子核到原子核,约为 0.2 nm,因此稳定晶体管的小型化已经接近其量子极限。超过该限制相当大的量会破坏数字电路的稳定性。这是一个量子物理限制,而不是光刻限制。

突破极限的预测、模型和技术

摩尔定律只是从集成电路发明到晶体管原子组成的物理限制之间的芯片行业的一个近似模型,我们现在正在接近这一时期。

场效应晶体管 (FET) 可以使小型化仅比 PN 结的力学稍微进一步。3-D 电路具有理论上的前景,但尚未开发出可重复的纳米技术机制来在三维中形成复杂的电路。

回到首要问题

撇开量子计算将以某种方式彻底改变电路的神奇想法不谈,我们有一个既可行又可预测的问题。

模拟计算机能否实现实值神经网络,从而更好地进行人工网络计算?

如果我们在这种情况下将更好的定义为更便宜、更快,同时保持可靠性和准确性,那么答案很简单。

与数字网络相比,使用人工网络演算产生的封闭形式的模拟近似来创建人工网络的前馈部分肯定需要更少的晶体管。两者都是近似值。模拟电路有噪声,漂移,数字电路有舍入误差。除了舍入之外,数字乘法在电路方面比模拟复杂得多,并且在人工网络实现中使用了相当多的乘法。

哥德尔和图灵的限制相互作用

这个问题所引用的书名末尾的想法“超越图灵极限”也有点奇妙。艾伦·图灵的思想实验导致了图灵机和相关的可计算性理论(包括图灵完备性)并没有发展到极限。恰恰相反。这是对哥德尔不完备理论的回答。图灵时代的人们将哥德尔的天才工作视为令人讨厌但不可忽视的限制,威胁着数百年来使用机器自动扩展人类知识的愿景。总结这项工作,我们可以有把握地说明这一点。

限制计算机可以做什么的理论与数字在电子电路实现中的表示方式无关。这是信息力学的局限。

这些原则很重要,但与限制无关。

  • 模拟计算
  • 小型化
  • 并行计算
  • 随机注入可以提供帮助的方式
  • 如何在编程语言中定义算法

以上与某些个人或公司必须支付的项目的可行性以及完成它所需的智力能力有关,而不是对可能的硬性限制。

定义什么是超级图灵能力可能是对数学家认为构建良好的理论的驳回或拆解。拆除或转移某些可计算性理论的语境框架是合理的。放弃已经完成的工作将是幼稚的,而且会适得其反。

实数现在比整数更不真实

问题中包含的令人信服的想法是对在人工网络训练期间获得学习状态的参数的连续性、物理性和真实值性质的参考。

将数字信号向量乘以数字参数矩阵需要许多晶体管并且可能需要大量时钟周期,即使使用专用硬件也是如此。每个信号路径只需要几个晶体管来执行模拟等效,并且吞吐量潜力非常高。

说真实值不能在数字电路中表示是不准确的。浮点数的 IEEE 标准在按时间序列处理时,可以很好地表示实值信号。如上所述,模拟电路会受到噪声和漂移的影响。模拟信号和数字信号似乎都仅由实数值组成。实数不是真实的,除非在数学模型的世界中。我们在实验室中所说的量本质上是对分布均值的测量。将现实的概率性质固化并整合到科学技术中可能是 20 世纪的主要胜利,

例如,以毫安 (mA) 为单位时,电流似乎是一种连续现象,但在以纳安 (nA) 为单位时,电流的量子性质开始显现。这很像晶体管小型化所发生的情况。实数只能通过离散电子的流动在模拟电路中表示。人工网络中模拟前馈优势的关键在于网络单元的密度可以显着提高,从而降低网络在其 VLSI 空间中的成本。

总之,实数在量子物理学出现之前就因其类型而得名。以前被认为是真实和连续的量实际上是量子水平上离散活动的统计平均值的想法彻底改变了热力学和微电子学领域。这是在晚年困扰爱因斯坦的事情。从本质上讲,使用实数的数学在工程中是有效的,因为它简化了物理学家现在认为的大量量子现象同时发生的分布。

总结模拟计算的可能未来

问题中的这句话并不完全科学,尽管它指出了很大的可能性。

量子计算机很有可能是模拟的。

这个修改后的版本在措辞上更符合科学事实,也更符合事实。

处理接近量子级小型化信号的计算机可能具有更高比例的模拟电路。

这个问题及其答案与有关模拟计算的论文和研究工作有很多链接:如果数字值仅仅是估计,为什么不回到 AI 的模拟?.