下降梯度如何知道要调整哪些权重?

数据挖掘 机器学习 梯度下降
2021-10-04 02:51:18

我正在阅读有关下降梯度的信息。下降梯度如何知道要调整哪些权重?它是否同时适应所有网络权重?

每个重量都有相关的误差吗?

2个回答

通常(或至少是梯度下降的基本实现),您为每次迭代应用每个权重的更新规则,使用损失函数相对于该权重的偏导数如下所示:

在此处输入图像描述

在梯度下降算法中,所有权重都在反向传播时更新。权重更新量由它的梯度和学习率决定。