tl;博士

梯度下降的重点是评估每个参数对损失的贡献。这些信息是通过每个参数的损失梯度来揭示的。

更深层次的看...

假设我们有一个带参数的 NN$w_{i}, \; i={1, 2, ...}$. 这个 NN 做出一些预测，我们将其与实际目标进行比较并计算损失$J$. 损失（或成本）函数告诉我们离目标有多远。这就是我们想要减少的，以便预测更接近目标。

通过计算损失函数的偏导数$J$写一个参数$w_i$（所以这只是一个偏导数，而不是完整的梯度向量）

$$\frac{\partial J}{\partial w_i}$$

NN 揭示了两条信息：

• 的斜率_$J$写$w_i$，它告诉 NN多少$w_i$影响$J$.
• 它的符号，它告诉 NN调整的方式$w_i$减少（或增加）的价值$J$.

通过使参数更新依赖于导数

$$w_i^{new} \leftarrow w_i^{old} - \lambda \frac{\partial J}{\partial w_i}$$

NN 导致对损失影响最大的参数被更新得最多。

您可以将其视为：网络错误更应归咎于的参数（即对损失的贡献更大）被迫改变最多，方向将减少损失。