在神经网络文献中,哪一个是激活?

机器算法验证 神经网络
2022-03-16 03:53:15

考虑一个具有一个隐藏层的 MLP。在数学上,将输入表示为x,输出,比如说,y由下式计算

y=σ(W2a2+b2)
在哪里
a2=σ(z2),z2=W1x+b1.
让我感到困惑的是哪一个被称为激活,例如,在第二层?是激活信号a2称为第二层的激活?或者是z2,激活前的信号,叫什么?

3个回答

“层”没有激活。每个单独的神经元都有一个激活。

神经元的状态是它的偏差 + 所有传入连接(权重 * 来自源神经元的激活)。所以那是z2.

激活是通过激活函数的神经元的状态所以那是a2. 作为σ()是激活函数。

相关:[1]


下面的答案似乎是矛盾的,但是(逻辑上)将神经元的激活称为从激活函数接收到的值是有意义的。支持我的主张的参考资料:

如您所见,神经元 y 从 x1 获得的值称为“神经元 1 的激活”,意思是它的输出 - 因此是在激活函数之后收到的值。[资源]

我见过有人同时调用激活,但是激活函数的输入z2) 似乎更正式。

例如在模式识别和机器学习中(以下ajzj与问题中的不同)

在此处输入图像描述

这篇来自 Google 的批量归一化论文(其中“激活”一词被提及 42 次以表示激活函数的输入),以及 Hinton 等人的这一层归一化论文。

通常,每个神经元执行激活函数后的输出称为该神经元的激活。所以,在你的例子中,a2是隐藏神经元的激活和y是输出神经元的激活。