基于感知器设计的人工网络是否存在固有限制?

人工智能 神经网络 研究 硬件 建筑学 长短期记忆
2021-11-05 05:23:11

在机器学习的基本构建块(感知器层和卷积核)被发明的时候,大学级别的大脑神经元模型非常简单。

当神经元还只是简单的计算机,它们通过冷的轴突导线相互发出无数位的电信号时,尖峰并不被视为细胞中每个活动的分层合成,直到我们今天可以说的分子尺度。换句话说,峰值只是要与当前状态集成并传递的输入的摘要报告。在理解线粒体与尖峰(以及其他分子要人,如钙)的密切关系时,我们现在可以更广泛地将它们解释为神经元发送给自身的同步信息,并暗示其空间扩展的居民。突触对这些信息进行了沉重的权衡,但最终,但就像选举团一样,它们在输出中加入了大量的地方管理。细胞内部署线粒体的大小和位置不能被理想化或拟人化为神经元决定最适合自身的那些指标,而是热力学要求的指标。1

请注意上面第一个粗体短语中对求和的引用。这是建立当代机器学习的天文学上过于简单的生物学模型。当然,ML 取得了进展并产生了成果。这个问题并没有否认或批评这一点,而是扩大了 ML 通过更广泛的思想领域可以成为什么的意识形态。

注意后两个加粗的短语,它们都表示神经元中的状态。我们首先在 ML 中将其视为衰减感知器中人工神经元阵列之间的信号的参数,然后通过反向传播到更深的网络中。我们再次看到这一点,因为 ML 的趋势是通过与面向对象模型集成、LSTM 设计的成功、GAN 设计的相互关系以及新的基于实验注意力的网络策略来推动嵌入式状态。

但是是否需要在机器中实现更高层次的思想,例如...

  • 在不同条件下安全驾驶客机,
  • 在城市里开车,
  • 理解复杂的口头指令,
  • 学习和学习一个主题,
  • 提供深思熟虑(而非机械)的回应,或
  • 根据给定的规范编写程序

......要求我们更激进的是思考人工神经元应该做什么的转变?

对大脑结构、其复杂化学和大脑神经元内细胞器的科学研究揭示了显着的复杂性。执行向量矩阵乘法以将学习参数应用于激活层之间的信号衰减几乎不是对神经元的模拟。人工神经元不是很像神经元,区别是极端的。

对大脑神经元结构和功能科学现状的一项小型研究表明,为了了解单个神经元的功能,可能需要对大量 GPU 集群进行一个月的训练。

基于感知器设计的人工网络是否存在固有限制?

参考

[1] 快速棘突轴突带线粒体兜风,John Hewitt,Medical Xpress,2014 年 1 月 13 日, https://medicalxpress.com/news/2014-01-fast-spiking-axons-mitochondria.html

2个回答

在人工神经网络中通常使用的感知器设计中,我们准确地知道单个神经元能够计算什么。它可以计算一个函数

f(x)=g(wx),

在哪里x是输入向量(也可能是前一层的激活级别向量),w是学习参数的向量,并且g是一个激活函数。我们知道,这样的 ANN 中的单个节点可以精确地计算这一点,除此之外别无他法。这种观察可以解释为“当然它是有限的;它只能做他自己的事,别无他法”。

通用函数逼近理论告诉我们(这里非常非正式地),如果神经网络“足够大”,至少有 1 个隐藏层,并且具有非线性激活函数,它理论上可以学会合理地逼近任何函数。如果我们添加递归(即RNN),理论上我们也可以得到图灵完备性。基于此,我们可以说它们在理论上并没有特别的限制......但在实践中当然有很多复杂性:

  • “足够大”有多大?
  • 我们如何有效地学习我们的参数?(SGD 是最常见的方法,但可能会陷入局部最小值;进化算法等全局优化方法不会陷入困境......但我也不相信它们以速度快而闻名)。
  • 等等。

只是观察到它们在理论上可能不会受到高度限制,当然并不意味着在实践中也没有其他更好的方法。我可以很好地想象一个更复杂的模型(试图模拟我们也在大脑中观察到的额外功能)可能更容易学习更复杂的功能。

一个重要的警告是,更复杂的函数逼近器往往更难在实践中训练。我们非常了解如何有效地训练线性函数逼近器。他们通常也不是很需要数据。缺点是,它们只能近似线性函数。

我们也非常了解如何训练,例如决策树。它们仍然是很容易直观理解的模型,它们可以学习比线性函数更复杂的函数。我想说我们对如何训练它们比线性函数更了解,但仍然很好理解。

现在使用的人工神经网络……看起来它们在实践中比上面提到的两种更强大,但它们周围还有更多的“谜团”(尤其是深层变体)。我们可以很好地训练他们,但我们并不像我们想要的那样了解他们的一切。

直觉上,如果我们尝试更忠实地模仿大脑,我预计这种趋势会继续下去。如果存在更强大的东西,我不会感到惊讶,但它们会更难理解,更难训练,也可能更需要数据(当前的人工神经网络已经倾向于非常需要数据)。

在我看来,我们的大脑有很多功能。肯定比现在的人工神经网络要多得多。我想这是脑科学或认知心理学的领域。

一些大脑结构可能有助于某些应用,但不是全部。神经网络虽然是我们大脑的最简单形式,但具有最普遍的用途。换句话说,如果你想改进神经网络,不同的领域或不同的功能可能需要完全不同的结构。您可以将其称为当今用于不同应用的多种类型的神经网络。