在大脑中，一些突触是刺激的，一些是抑制的。在人工神经网络的情况下，ReLU 消除了该属性，因为在大脑中，抑制不对应于 0 输出，而是更准确地说，对应于负输入。
在大脑中，正负电位相加，如果超过阈值，神经元就会放电。
在生物单元中，我想到了两个主要的非线性：
电位变化比线性更呈指数：少量离子通道足以启动其他通道激活的连锁反应 - 这会迅速改变全局神经元的电位。
神经元的阈值也是非线性的：只有当其正负电位之和超过给定（正）阈值时，神经元才会触发
那么，是否有任何想法如何实现人工神经网络的负输入？
我举了生物神经元非线性的例子，因为最明显的正/负单位只是一个线性单位。但是，由于它没有实现非线性，我们可以考虑在人工神经元的其他地方实现非线性。
David Sterratt、Bruce Graham、Andrew Gillies 和 David Willshaw 在第 7 章（突触）和第 8 章（神经元的简化模型）中讨论了神经科学中的计算建模原理。特别是在第 8 章中，他们讨论了如何添加兴奋性或抑制性突触来整合和激发神经元。
添加抑制性突触的方法有多种：要么底物电压，要么注入负电流。
在生物学中，当突触前释放一种神经递质（显然是正量）时，这种神经递质到达突触后小泡，引起兴奋（去极化）或抑制（超极化）效应，具体取决于下一个细胞树突中突触后小泡的类型。如果去极化（所有树突）的总量比超极化足够大，则神经元触发动作电位或类似信号，继续链。
在人工神经网络并行性中，当上一层的激活函数提供输出（比如正值）时，该值乘以下一层单元的权重。如果权重为正，则效果为兴奋，如果权重为负，则效果为抑制。
因此，这两个模型在功能上是等效的（涵盖了相同的兴奋/抑制目标），只是将突触后囊泡的种类与人工神经元的输入权重符号进行类比。
抑制的普遍使用程度
MLP（多层感知器）中发生了可以松散地被认为是抑制效应，因为它们通常已经设计和实现。
在较大的反向传播算法中实现的梯度下降方案可以产生正或负的参数调整增量。
由于反向传播导致参数值的降低与神经信号路径的抑制有一些相似之处，但是，您可能已经意识到生物神经元之间的信号传导和层间信号传导类型的显着差异机器学习中常见的人工网络。
如前所述，“抑制”一词仅适用于松散。
哺乳动物大脑中的刺激和抑制也不同，因为神经化学会影响区域网络，所以刺激和抑制这两个术语有点含糊，因为我们有从多巴胺到血清素，从大麻素到催产素受体的激动剂和拮抗剂，从内啡肽到其他类别。
与以前教科书主题的变化
前一种想法是通过生物信号路径传播的脉冲加强了这种联系。今天，神经学研究中没有人坚持这种简单化的概念。
例如，已知信号通路可能是常用的，但在使用后可能会因反复的剧烈疼痛而关闭。虽然我在神经通路的电化学过程方面没有受过良好的训练，但我记得体外实验支持这既不是神经可塑性也不是电的，它与区域化学反馈有关。
目前将成瘾视为脑部疾病的观点是，化学状态变化与习得性抑制或传播之间的相互关系破裂是因果关系。抑制或传播不再取决于生物体的生存和社会化，而是取决于成瘾性刺激，导致行为功能障碍。
需要指出的是，刺激和抑制并不是严格的反义词。抑制信号的反面是它的传输。刺激的反面是缺乏刺激（没有信号）。
在非常不同的电路模型中尝试类比
将 ReLU 激活功能和突触功能与它们对区域脑化学的敏感性和细胞器协调的细胞水平保留功能进行比较可能无助于一般理解。
神经网络不是神经网络。它们是一个数学概念，仅共享学习的理想，即收敛于某些理想的网络行为。没有其他重要的共同点。
增加 MLP 和生物学之间的差异
从某种意义上说，大脑中的抑制发生在细胞内部、细胞之间和细胞结构之上的多个结构层面，并且在传统的机器学习结构中根本不模拟脉冲的时间排列（在时域中）。
一些研究人员完全偏离了多层感知器设计，而偏爱需要专用硬件的基于脉冲的系统。跟着钱走。这还不是一个廉价的研究途径。但如果他们成功了，它可能会合二为一。
函数曲率
关于术语的简要说明：N次多项式属于线性代数，因此最好使用“曲线函数”，以免陷入非线性术语的歧义。
尽管如此，您是正确的，生物神经回路中存在不同类型的非线性。势变不仅是弯曲的，而且其函数的曲率变化很快。它是时间敏感的。
在较长的时间范围内，细胞中的记忆通过神经可塑性形成，并且细胞行为在内部（细胞膜内）发生变化，利用细胞质和悬浮的细胞器。该记忆功能也以相对于时间的大致反指数速率衰减，但有些人根据经验证据假设可以回忆起被遗忘的细胞功能。同样，这是在细胞水平上。
第二个非线性不是势的总和。聚合输入信号的函数表面并不平坦。它是弯曲的。此外，如前所述，时间对齐具有复杂性，因为完美的脉冲对齐与未在时间上完美对齐的脉冲不同。
（我在为这个网站写的一个问题中提到了在 MLP 反向传播中使用加法调整的荒谬性。大多数机器学习从业者对现状的挑战的反应并不突出。）
线性思维目前盛行
在很大程度上，线性思维（广义上的术语）遍布当今的主流机器学习和数据科学，激活函数是一个值得注意且受欢迎的例外。
随着时间的推移，我预计情况会有所改善。我看到当前的前沿研究超越了线性思维，并考虑了 LSTM 和基于注意力的网络中的短期和长期记忆，代表哺乳动物网络中脉冲传播的曲面的模拟以及在这里考虑指数衰减的各种应用并在最新的文献中。
感谢这个问题
像这样的问题也可能有助于扩大主流理解。