一层的梯度是否独立于前一层的激活?

人工智能 神经网络 深度学习 反向传播 梯度下降 坡度
2021-10-30 07:27:37

(前馈神经网络的)层的梯度是否独立于前一层的激活?

我在一篇题为Mean Field Residual Networks: On the Edge of Chaos (2017) 的论文中读到了这一点。我不确定这在多大程度上是正确的,因为错误取决于这些激活。

2个回答

是的,这是反向传播的前提,层的梯度jn不受层梯度的影响jn-1. 这允许您从输出层的梯度开始,然后通过网络将其传播回输入层。

然而,它受到梯度的影响jn+1,反向传播算法也遵循。

(前馈神经网络的)层的梯度是否独立于前一层的激活?

是的,根据@recessive 的回答,它们确实独立于前几层。

反向传播的目标是将损失(目标和网络输出之间的误差)跟踪到网络中的特定权重,然后调整它们以最小化这种损失。为此,激活必须独立于先前的激活功能(在网络中前进)。

在阅读这些论文时,对反向传播过程有一个很好的理解是非常有帮助的,我个人建议观看这个视频来更好地理解它:

https://www.youtube.com/watch?v=Ilg3gGewQ5U