Sigmoids 饱和并杀死梯度。
当神经元的激活在 0 或 1 的尾部饱和时,这些区域的梯度几乎为零。
梯度和几乎没有信号将通过神经元流向其权重并递归地流向其数据。
因此,如果梯度接近于零,则误差校正将非常小。但是为什么这会导致没有信号流过神经元呢?
那只会导致权重不变。
Sigmoids 饱和并杀死梯度。
当神经元的激活在 0 或 1 的尾部饱和时,这些区域的梯度几乎为零。
梯度和几乎没有信号将通过神经元流向其权重并递归地流向其数据。
因此,如果梯度接近于零,则误差校正将非常小。但是为什么这会导致没有信号流过神经元呢?
那只会导致权重不变。