我读到了 dropout 以及它如何帮助解决过拟合问题。用简单的外行术语来说，它在前向传播中随机丢弃一些神经元。我的问题是，由于这些神经元在前向传播中将为 0，我们是否应该在反向传播时更新它们？
当 FC 层出现 dropout 时，反向传播的行为如何？
数据挖掘
神经网络
反向传播
2021-10-14 06:54:45
1个回答
更正（见编辑日志）：
不，没有必要。
对于所有丢弃的神经元，相应的激活被简单地清零，因此相应的梯度也将为零。
现在因为您不想更新参数，您只需将梯度与当前迭代中使用的相同 dropout 掩码相乘。
如果您使用的是库，则只需像通常那样做所有事情，因为这已经被处理了。
其它你可能感兴趣的问题