在机器学习的基本构建块(感知器层和卷积核)被发明的时候,大学级别的大脑神经元模型非常简单。
当神经元还只是简单的计算机,它们通过冷的轴突导线相互发出无数位的电信号时,尖峰并不被视为细胞中每个活动的分层合成,直到我们今天可以说的分子尺度。换句话说,峰值只是要与当前状态集成并传递的输入的摘要报告。在理解线粒体与尖峰(以及其他分子要人,如钙)的密切关系时,我们现在可以更广泛地将它们解释为神经元发送给自身的同步信息,并暗示其空间扩展的居民。突触对这些信息进行了沉重的权衡,但最终,但就像选举团一样,它们在输出中加入了大量的地方管理。细胞内部署线粒体的大小和位置不能被理想化或拟人化为神经元决定最适合自身的那些指标,而是热力学要求的指标。1
请注意上面第一个粗体短语中对求和的引用。这是建立当代机器学习的天文学上过于简单的生物学模型。当然,ML 取得了进展并产生了成果。这个问题并没有否认或批评这一点,而是扩大了 ML 通过更广泛的思想领域可以成为什么的意识形态。
注意后两个加粗的短语,它们都表示神经元中的状态。我们首先在 ML 中将其视为衰减感知器中人工神经元阵列之间的信号的参数,然后通过反向传播到更深的网络中。我们再次看到这一点,因为 ML 的趋势是通过与面向对象模型集成、LSTM 设计的成功、GAN 设计的相互关系以及新的基于实验注意力的网络策略来推动嵌入式状态。
但是是否需要在机器中实现更高层次的思想,例如...
- 在不同条件下安全驾驶客机,
- 在城市里开车,
- 理解复杂的口头指令,
- 学习和学习一个主题,
- 提供深思熟虑(而非机械)的回应,或
- 根据给定的规范编写程序
......要求我们更激进的是思考人工神经元应该做什么的转变?
对大脑结构、其复杂化学和大脑神经元内细胞器的科学研究揭示了显着的复杂性。执行向量矩阵乘法以将学习参数应用于激活层之间的信号衰减几乎不是对神经元的模拟。人工神经元不是很像神经元,区别是极端的。
对大脑神经元结构和功能科学现状的一项小型研究表明,为了了解单个神经元的功能,可能需要对大量 GPU 集群进行一个月的训练。
基于感知器设计的人工网络是否存在固有限制?
参考
[1] 快速棘突轴突带线粒体兜风,John Hewitt,Medical Xpress,2014 年 1 月 13 日, https://medicalxpress.com/news/2014-01-fast-spiking-axons-mitochondria.html