考虑一个具有一个隐藏层的 MLP。在数学上,将输入表示为xx,输出,比如说,yy由下式计算
“层”没有激活。每个单独的神经元都有一个激活。
神经元的状态是它的偏差 + 所有传入连接(权重 * 来自源神经元的激活)。所以那是z2z2.
激活是通过激活函数的神经元的状态。所以那是a2a2. 作为σ()σ()是激活函数。
相关:[1]
下面的答案似乎是矛盾的,但是(逻辑上)将神经元的激活称为从激活函数接收到的值是有意义的。支持我的主张的参考资料:
如您所见,神经元 y 从 x1 获得的值称为“神经元 1 的激活”,意思是它的输出 - 因此是在激活函数之后收到的值。[资源]
我见过有人同时调用激活,但是激活函数的输入(z2z2) 似乎更正式。
例如在模式识别和机器学习中(以下ajaj和zjzj与问题中的不同)
这篇来自 Google 的批量归一化论文(其中“激活”一词被提及 42 次以表示激活函数的输入),以及 Hinton 等人的这一层归一化论文。
通常,每个神经元执行激活函数后的输出称为该神经元的激活。所以,在你的例子中,a2a2是隐藏神经元的激活和yy是输出神经元的激活。