ReLU 神经网络中的零权重是否接收零梯度?

数据挖掘 神经网络 深度学习 梯度下降
2022-02-18 04:54:53

假设我有一个使用 ReLU 激活函数的深度神经网络,即σ(x)=max(x,0). 假设一些重量wi正好变成0在某一点。我在这里有什么问题吗,还是梯度wrt的情况wi将始终为零,因此wi不会得到任何进一步的更新?我觉得我在这里错过了一些东西。

1个回答

(损失函数的)关于的导数 wi可以是任何值,独立于wi. (例如f(x)=x处处有导数 1,即使在x=0.)