为什么在虚拟神经网络中经常使用抑制连接,而现实生活中的神经网络中似乎不存在抑制连接?

人工智能 神经网络
2021-11-18 03:47:16

我喜欢神经网络人工智能的一点是我们已经有了它的蓝图——我们非常详细地知道不同类型的神经元是如何工作的,我们不必发明人工智能,我们可以复制我们已经知道的工作原理(神经网络)以一种简化的方式进行训练。

所以现在让我感到困惑的是,为什么我在研究神经网络时看到的许多流行的神经模型都包括抑制连接和刺激连接。据我了解,在真实的神经网络中,没有传递负信号,而是在神经元之间发送的信号与 0.1 和 1 之间的值相当。没有发送反向(抑制)信号的机制。

例如,在这个网络中(看到覆盖正在模拟的蛇),红线代表抑制连接,蓝线代表刺激神经元:

在此处输入图像描述

这只是神经网络设计的一个无关紧要的细节,0 到 1 的范围和 -1 到 1 的范围之间真的没有显着差异吗?或者我们的模拟神经网络中的连接是否有理由从能够表达从 -1 到 1 而不仅仅是 0 到 1 的范围内受益?

2个回答

我觉得你很困惑。一些神经神经网络之所以具有输出范围内的神经元,(-1, 1)完全取决于所使用的激活函数。一些网络甚至具有输出范围为(-Infinity, +Infinity)(也称为恒等函数)的神经元。

我建议你看看这个列表:activation functions w/ranges

如今,许多神经网络混合了不同的激活函数。例如ReLUSigmoidor结合TanH

这个神经网络库甚至表明,对于大多数简单的问题,神经网络更喜欢各种激活函数。

红线仅表示该连接与其他连接相比价值较低。

激活函数没有经验法则,一些问题受益于某个功能,有些则没有。

从我读到的关于深度网络和神经科学的内容来看,你的解释是倒退的。深度网络中的大多数“神经元”使用 RELU 激活,这是严格的兴奋性,而哺乳动物的大脑由兴奋性和抑制性突触/神经元组成。

https://en.wikipedia.org/wiki/Excitatory_postsynaptic_potential

https://en.wikipedia.org/wiki/Inhibitory_postsynaptic_potential

我认为深度网络中像 RELU 这样的严格兴奋激活的原因是它们在学习过程中为反向传播提供了一个连续的梯度。抑制性激活使梯度不连续,极大地复杂化了反馈/误差的传播。