人工神经网络和生物神经网络有何相似之处和不同之处?

人工智能 神经网络 比较
2021-10-30 20:10:20

我多次听到“神经网络是我们对人脑建模的最佳近似”,我认为众所周知,神经网络是根据我们的大脑建模的。

我强烈怀疑这个模型已经被简化了,但是多少呢?

比如说,普通神经网络与我们对人脑的了解有多大不同?我们甚至知道吗?

3个回答

我们都知道人工神经网络 (ANNs) 的灵感来自于,但它们中的大多数只是松散地基于生物神经网络 (BNNs)。

我们可以从以下组成部分来分析 ANN 和 BNN 之间的异同。

神经元

下图说明了一个生物神经元(本书图像的屏幕截图)。

在此处输入图像描述

下图说明了一个典型的人工神经网络人工神经元(本书图 1.14 的屏幕截图)。

在此处输入图像描述

初始化

在人工神经网络的情况下,初始状态和权重是随机分配的。而对于 BNN,神经元之间的连接强度和连接结构并不是随机的。初始状态是遗传衍生的,是进化的副产品。

学习

在 BNN 中,学习来自大脑中无数神经元之间的相互联系。当大脑经历新的刺激时,这些互连会改变配置。这些变化导致新的连接、现有连接的加强以及旧的和未使用的连接的移除。

ANN 通常使用固定拓扑从头开始训练(请记住 BNN 的拓扑变化),尽管 ANN 的拓扑也可以改变(例如,看看 NEAT 或一些持续学习技术),这取决于要解决的问题解决了。ANN 的权重是通过优化算法随机初始化和调整的。

神经元数量

另一个差异(尽管这种差异总是较小)是网络中神经元的数量。一个典型的 ANN 由数百、数千、数百万个神经元组成,在某些特殊情况下(例如 GPT-3),还有数十亿个神经元。人脑的 BNN 由数十亿组成。这个数字因动物而异。

进一步阅读

您可以在此处此处找到更多信息

他们不再接近,不再接近!

[人工] 神经网络的灵感来自于我们之前观察到的大脑神经元之间的连接。最初,可能有开发人工神经网络来近似生物大脑的意图。然而,我们看到它们在各种任务中的应用的现代工作人工神经网络并非旨在为我们提供动物大脑的功能模型。据我所知,没有研究声称他们通过研究 CNN 或 RNN 模型的连接和权重分布在生物大脑中发现了新的东西。

人工神经网络受大脑神经结构启发的普遍说法只是部分正确。

诚然,诺伯特·维纳、克劳德·香农、约翰·冯·诺伊曼和其他人通过开发他们当时所谓的电子大脑开始了通往实用人工智能的道路。这也是真的

  • 人工网络具有称为激活的功能,
  • 像生物神经元一样以多对多的关系连接,并且
  • 旨在学习最佳行为,

但这就是相似的程度。MLP(多层感知器)或 RNN(循环神经网络)等人工网络中的细胞与脑网络中的细胞不同。

感知器是第一个针对激活的事物阵列的软件,它不是神经元阵列。这是涉及梯度的基本反馈的应用,自从詹姆斯瓦特的离心调速器被高斯数学建模以来,它一直在工程中普遍使用。逐次逼近,一个已经使用了几个世纪的原理,被用来增量更新衰减矩阵。矩阵乘以向量,输入一组相同的激活函数以产生输出。而已。

通过认识到雅可比可用于产生校正信号,当适当地作为负反馈分布到各层时,可以调整多层拓扑的第二维投影,从而可以调整序列的衰减矩阵。感知器和整个网络将收敛于令人满意的行为。在感知器序列中,每个元素称为一个层。反馈机制现在称为反向传播。

用于校正网络的数学称为梯度下降,因为它就像脱水的盲人利用地形的梯度寻找水一样,这样做的问题也很相似。他可能会在找到淡水之前找到一个局部最小值(低点)并收敛于死亡而不是水合作用。

较新的拓扑是在数字图像恢复、邮件分拣和图形应用程序中使用的现有卷积工作的补充,以创建 CNN 系列拓扑,并巧妙地使用第一年化学中的化学平衡来结合优化标准创建GAN 的拓扑家族。

在大多数人工智能环境中,深度只是众多的同义词。它有时会推断出更高级别拓扑的复杂性(在向量矩阵乘积、激活和卷积之上)。

那些意识到这些深层网络与神经科学家几十年前在哺乳动物脑组织中发现的有多么不同的人正在进行积极的研究。随着从基因组的角度研究大脑中的学习电路和神经化学,今天发现了更多的差异化因素。

  • 神经可塑性...由于树突和公理生长、死亡、重定向和其他变形引起的电路拓扑变化
  • 拓扑复杂性......大量公理在没有相互作用的情况下交叉,并且很可能故意屏蔽串扰(独立),因为让它们连接会很不利[注1]
  • 化学信号……哺乳动物的大脑有几十种神经递质和神经调节化合物,它们对电路有区域影响[注 2]
  • 细胞器...活细胞具有许多亚结构,已知几种类型与神经元中的信号传递具有复杂的关系
  • 完全不同的激活形式......普通人工神经网络中的激活只是范围和域的序数标量函数......哺乳动物神经元作为传入信号的幅度和相对时间接近度的函数运行[注 3]

[1] 具有讽刺意味的是,拓扑既是架构的一个子集(在建筑设计、网络供应、万维网分析和语义网络领域),但与此同时,拓扑不仅是架构,而且是两种 AI 的根本中心控制系统中的数学和有效实现

[2] 化学的作用可能对于学习与 DNA 信息传播相关的社会和生殖行为至关重要,以复杂的方式将生态系统和大脑层面的学习联系起来。此外,长期和短期学习也将大脑的学习分为两种不同的能力。

[3] 传入信号的时间对生物神经元激活的影响在一定程度上得到了理解,但它的影响可能远不止神经元输出。它也可能影响可塑性和化学作用,而细胞器可能在其中发挥作用。

概括

机器学习库所做的就是模拟人脑,就像芭比娃娃和肯娃娃模拟一对真实的情侣一样。

尽管如此,深度学习领域正在出现一些非凡的事情,如果自动驾驶汽车在我们的有生之年完全自动驾驶,我也不会感到惊讶。我也不建议任何学生成为开发人员。计算机的编码可能会比人类好得多,而且速度可能会快几个数量级,而且可能很快。有些任务不是生物学已经进化到可以完成的那种任务,计算机经过几十年的研究就可以超越人类的能力,最终超过人类的能力几个数量级。