Bishop 的书是否暗示神经元在第 5.3 章中会自食其力?

数据挖掘 机器学习 反向传播
2022-02-24 15:02:24

我刚读了 Bishop 的书Pattern Recognition and Machine Learning我阅读了关于反向传播的第 5.3 章,它说,在一般的前馈网络中,每个单元计算其输入的加权和,形式为

aj=iwjizi

然后书上说,上述方程中的和由非线性激活函数形式的单元的激活h(.)zjj

zj=h(aj)

我认为这个符号在某种程度上是 akward:假设我想计算,然后 a2

a2=w21z1+w22z2+

那么 是否意味着神经元与自身相连?

a2=w21z1+w22h(a2)+
a2

2个回答

这些方程只适用于给定的层。

如果要泛化,则需要将它们重写为,例如:

ajl=iwjilzil1+bjl

神经元的输出被计算为直接应用于总和的激活函数:

z3=h(w21z1+w22z2)

您可以查看perceptron wikipage,其中有对此的解释和说明,例如this