如何更新 CNN 中的偏差?

数据挖掘 机器学习 深度学习 反向传播 美国有线电视新闻网
2022-02-12 04:46:21

如果我们有一个在卷积计算后添加一个标量值的偏差,我们如何找到梯度和反向传播误差?

1个回答

与密集层中偏差项的更新规则一样,在卷积网络中,偏差梯度是使用 Z 项的导数之和计算的:

dJ/db=hwdZhw

其中 J 是成本函数,w 是卷积后激活的宽度,h 是卷积后激活的高度。

db 是通过对 dZ 求和来计算的。这意味着您正在对 conv 输出 (Z) 相对于成本的所有梯度求和。

计算网络的误差取决于您使用的成本函数。根据使用交叉熵或均方误差或其他合理的成本函数,您可能对网络的其他参数有不同的更新规则。但是,如果您使用分类任务变体中常见的交叉熵,则上述更新规则用于更新偏差项。