您正在阅读的内容被称为动作电位。它是一种控制信息如何在神经元内流动的机制。

它的工作原理是这样的：神经元具有电势，即细胞内外的电压差。它们还具有默认的静息电位和激活电位。如果不理会神经元倾向于向静息电位移动，但来自树突的传入电激活可以改变其电位。

如果神经元的电位达到某个阈值（激活电位），整个神经元及其连接的轴突就会在细胞内外发生离子交换的链式反应，从而导致通过轴突的“传播波”。

TL;DR：一旦神经元达到一定的激活电位，它就会放电。但是如果神经元的电位没有达到那个值，那么神经元就不会激活。

人脑是否使用特定的激活功能？

大脑不同部位的 IIRC 神经元的行为略有不同，这个问题的措辞方式听起来好像你在问是否存在神经元激活的特定实现（而不是我们对其建模）。

但总的来说，彼此的行为相对相似（神经元通过神经化学物质相互交流，信息通过称为动作电位的机制在神经元内传播……）但它们引起的细节和差异可能是显着的。

有各种各样的生物神经元模型，但霍奇金-赫胥黎模型是最著名的。

另请注意，神经元的一般描述不会给你一个认知神经元动力学的一般描述（理解一棵树并不能让你完全理解一片森林）

但是，信息在神经元内传播的方法通常被很好地理解为钠/钾离子交换。

它（激活潜力）听起来很像 ReLU ......

它只是在某种意义上类似于 ReLU，因为它们在任何事情发生之前都需要一个阈值。但是 ReLU 可以有可变的输出，而神经元是全有或全无。

此外，ReLU（以及其他一般的激活函数）相对于输入空间是可微的。这对于反向传播非常重要。

这是一个 ReLU 函数，X 轴为输入值，Y 轴为输出值。

这就是动作电位，X 轴是时间，Y 是输出值。

哺乳动物的大脑不使用激活功能。只有基于感知器的机器学习设计才会将前一层的输出向量乘以参数矩阵，然后将结果无状态地传递给数学函数。

尽管已经对尖峰聚集行为进行了部分建模，并且比 1952 年的 Hodgkin 和 Huxley 模型详细得多，但所有模型都需要有状态才能在功能上逼近生物神经元。RNN 及其衍生产品试图纠正感知器设计中的这一缺陷。

除了这一区别，尽管信号强度总和为激活函数是参数化的，但传统的 ANN、CNN 和 RNN 是静态连接的，英特尔声称他们将在 2019 年通过 Nirvana 架构纠正这一点现在调用在 Python 或 Java 中设置的层。

至少有三个重要的生物神经元特征使得激活机制不仅仅是一个产生标量输出的标量输入的函数，这使得任何代数比较都有问题。

• 状态保持为神经可塑性（变化的）连通性，这不仅是一层中有多少神经元，而且是三个维度上的信号传播方向和网络的拓扑结构，这是有组织的，但混乱的
• 细胞质及其细胞器中的状态，截至 2018 年仅部分了解
• 有一个时间对齐因素，即通过生物回路的脉冲可能会通过突触以聚合的方式到达，但脉冲的峰值在时间上并不重合，因此激活概率不如它们高在时间上对齐。

关于使用什么激活函数的决定很大程度上是基于在理论水平上对收敛性的分析，并结合测试排列来查看哪些排列显示出最理想的收敛速度、准确性和可靠性组合。可靠性意味着对于大多数输入情况完全达到全局最优（不是误差函数的某个局部最小值）的收敛。

这种在实用机器学习和生物模拟与建模的分支之间进行的分叉研究。随着尖峰-准确性-可靠性（完成）网络的出现，这两个分支可能会在某个时候重新加入。机器学习分支可能会从生物学中汲取灵感，例如大脑中的视觉和听觉通路。

它们有相似之处和关系，可以用来帮助沿着两个叉子前进，但是通过比较激活函数的形状来获取知识会被上述三个差异所混淆，特别是时间对齐因子和大脑回路的整个时序，这是不可能的使用迭代建模。大脑是真正的并行计算架构，不依赖于循环甚至 CPU 和数据总线中的时间共享。

答案是我们不知道。很可能，我们在很长一段时间内都不会知道。这样做的原因是我们无法理解人脑的“代码”，也不能简单地为其提供价值并获得结果。这限制了我们测量测试对象的输入和输出电流，而且我们很少有这样的测试对象是人类。因此，我们对人脑几乎一无所知，包括激活功能。

我对这个问题的解释是“人工神经网络 (ANN) 中的哪个激活函数最接近大脑中的激活函数？”

虽然我同意上面选择的答案，即单个神经元输出狄拉克，但如果您认为 ANN 中的神经元模拟输出放电率，而不是当前输出，那么我相信 ReLU 可能是最接近的？

http://jackterwilliger.com/biological-neural-networks-part-i-spiking-neurons/