为什么 sigmoid 饱和会阻止信号流过神经元?

人工智能 神经网络 反向传播 权重 乙状结肠 梯度消失问题
2021-10-23 14:21:14

根据第 35 页上的这些幻灯片

Sigmoids 饱和并杀死梯度。

当神经元的激活在 0 或 1 的尾部饱和时,这些区域的梯度几乎为零。

梯度和几乎没有信号将通过神经元流向其权重并递归地流向其数据。

因此,如果梯度接近于零,则误差校正将非常小。但是为什么这会导致没有信号流过神经元呢?

w(n+1)=w(n)gradient

那只会导致权重不变。

0个回答
没有发现任何回复~