卷积神经网络是否受到人脑的启发?

人工智能 卷积神经网络 神经科学 新认知器
2021-11-06 11:49:01

Goodfellow 等人的深度学习书。状态

卷积网络是影响深度学习的神经科学原理的一个例子。

卷积神经网络 (CNN) 真的受到人脑的启发吗?

如果是这样,怎么做?特别是,类似 CNN 的神经元分组发生在大脑中的哪些结构?

2个回答

是的,CNN的灵感来自人脑[ 1、2、3 ]更具体地说,它们的操作,卷积和池化,是受人脑启发的。但是,请注意,如今,CNN 主要使用梯度下降 (GD) 和反向传播 (BP) 进行训练,这似乎不是一种生物学上合理的学习方式,但是鉴于 GD 和 BP 的成功,已经有试图将 GB 和 BP 与人类学习的方式联系起来 [ 4 ]。

Neocognitron是第一个卷积神经网络 [ 1 ],由Kunihiko Fukushima在 1979-1980 年提出,并在论文Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position 中进行了描述,已经使用卷积和池化(特别是平均池化)层 [ 1 ]。neocognitron 的灵感来自于 Hubel 和 Wiesel 在 1959 年论文Receptive fields of single neurones in the cat's striate cortex 中描述的工作。

这是 1980 年福岛论文的节选。

大脑中模式识别的机制鲜为人知,仅通过常规生理实验似乎几乎不可能揭示它。因此,我们对这个问题采取了稍微不同的方法。如果我们能建立一个与人类具有相同模式识别能力的神经网络模型,它将为我们理解大脑中的神经机制提供强有力的线索。在本文中,我们讨论了如何合成一个神经网络模型,以使其具有像人类一样的模式识别能力。

为此目的提出了几个模型(Rosenblatt,1962;Kabrisky,1966;Giebel,1971;Fukushima,1975)。然而,大多数这些模型的响应受到位置偏移和/或输入模式形状失真的严重影响。因此,他们的模式识别能力并不高。

在本文中,我们提出了一种改进的神经网络模型。脊椎动物的视觉神经系统已经暗示了这个网络的结构。该网络通过“无老师学习”自组织,并获得了基于形状的几何相似性(格式塔)识别刺激模式的能力,而不受其位置的影响,也不受其形状的微小变形的影响。这个网络被称为“neocognitron”,因为它是“cognitron”的进一步延伸,也是作者之前提出的一种自组织多层神经网络模型(Fukushima,1975)

然而,Fukushima 并没有使用梯度下降(和反向传播)训练新认知器,而是使用局部学习规则(这在生物学上更合理),这可能就是为什么他没有像我认为的那样获得更多荣誉。

您应该至少阅读福岛的论文以了解更多详细信息,我不会在这里复制。

《深度学习》一书的第 9.4 节还包含有关 CNN 如何受到神经科学发现启发的详细信息。

在眼睛中,视网膜神经节细胞有一个感受野,相当于某些类型的卷积滤波器,其中大多数是边缘检测器。

大脑是一个很大的未知数,没有人知道它是如何组织、记忆、创造概念、学习语言……。因此,不可能建立并行性。

特别是,大脑具有处理CNN 无法重现的规模和旋转独立性的能力。

正如关于 NN 和大脑的一般评论:即使总是说“神经网络细胞”在生物神经元中受到“启发”,但也存在使这种相似性仅成为“启发”的关键差异。因此,将 CNN 或任何其他类型的 NN 与大脑进行比较始终是一种模糊比较。最大的区别可能是学习能力:人脑是自己学习的,而神经网络需要一个外部系统(反向传播算法)来为神经网络提供学习的参数。