为什么深度神经网络和深度学习不足以实现通用智能?

人工智能 深度学习 深度神经网络 敏捷
2021-11-12 21:55:04

与深度学习 (DL) 和深度 (er) 网络相关的一切似乎都是“成功的”,至少进展非常快,并且培养了 AGI 触手可及的信念。这是大众的想象。DL 是解决如此多问题的绝佳工具,包括创建 AGI。然而,这还不够。工具是必要的成分,但通常是不够的。

该领域的领先人物正在寻找其他地方取得进展。报告/声明收集了Yoshua BengioYann LeCunGeoff Hinton声明的链接。该报告还解释说:

DL 的主要弱点(如我所见)是:依赖最简单的模型神经元(LeCun 称之为“卡通”);使用 19 世纪统计力学和统计学的思想,这是能量函数和对数似然法的基础;以及将这些技术与反向传播和随机梯度下降等技术相结合,导致应用程序非常有限(离线,主要是批处理,监督学习),需要高素质的从业者(又名“随机研究生下降”),大量昂贵的标记的训练数据和计算能力。虽然对于可以吸引或购买人才并部署无限资源来收集数据和处理数据的大公司来说非常有用,但深度学习对我们大多数人来说既不可访问也不有用。

虽然有趣且相关,但这种解释并没有真正解决问题的要点:缺少什么?

这个问题似乎很宽泛,但可能缺乏简单的答案。有没有办法指出 AGI 缺少 DL 什么?

4个回答

在将系统与类似人类的智能进行比较时,每个处理神经网络的人都错过了一个重要的点。一个人需要几个月的时间才能做任何可以理解的事情,更不用说能够解决成年人几乎无法解决的问题了。与我们的神经网络相比,人类大脑的大小是巨大的。方向可能是正确的,但规模是很大的。人脑中的神经元数量可以在记忆方面进行匹配,但还无法实现实时模拟它的并行量(至少对于随机研究人员而言)。虽然有点旧,但这可能会让您了解我们缺乏处理能力的程度。

深度学习在监督学习中最成功,而大脑主要以无监督的方式构建类别。我们还不知道该怎么做。看看谷歌大脑:16,000 个核心,这一切只能以非常糟糕的准确度识别猫和人脸。)

深度学习使用高度非结构化的激活,即神经网络分类器中“狗”和“猫”的高级表示不必完全相似。另一方面,大脑使用抑制性神经元来创建可分解为其语义方面的稀疏分布式表示。这对于抽象和类比推理可能很重要。

大脑有许多不同的部分协同工作。深度学习研究人员才刚刚开始将记忆或注意力机制整合到他们的架构中。

大脑整合来自许多不同感官的信息。大多数深度学习应用程序只使用一种类型的输入,例如文本或图片。

大脑能够将序列建模为类别。(基本上每个动词都命名一个顺序(即时间)类别。)然后它可以将这些类别安排成长期的层次计划。到目前为止,我还没有在深度学习中看到任何朝着这个方向发展的东西。

此外,神经网络还不能在与人脑相同的规模上运行。如果你看看这个问题的答案,人类大脑的神经元数量将领先另外几十年。神经网络可能不需要与大脑相同数量的神经元来达到类似的性能(因为更高的准确性),但现在例如视频处理在输入和吞吐量方面仍然非常有限。

恕我直言,第一个障碍是规模:即使是谷歌最大的 DNN 也无法接近大脑的规模,而且相差几个数量级......

我认为它仍然缺少构成人类大脑的各个方面。有许多不同的网络相互合作。

就像冥想通过让大脑更协同地工作来提高认知能力一样,我们也可以将其应用于机器。

例如,谷歌正在学习计算机做梦,就像我们做的那样,以加强我们已经学到的东西。 https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

这里是 pathnet,一个神经网络的网络。 https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

创造所有这些机制并将它们组合在一起,拥有足够的力量,我们将非常接近!