假设我有一个使用 ReLU 激活函数的深度神经网络,即. 假设一些重量正好变成在某一点。我在这里有什么问题吗,还是梯度wrt的情况将始终为零,因此不会得到任何进一步的更新?我觉得我在这里错过了一些东西。
ReLU 神经网络中的零权重是否接收零梯度?
数据挖掘
神经网络
深度学习
梯度下降
2022-02-18 04:54:53
1个回答
(损失函数的)关于的导数 可以是任何值,独立于. (例如处处有导数 1,即使在.)