梯度消失问题要求我们使用梯度下降的小学习率，然后需要许多小步骤来收敛。如果您的计算机速度较慢，每一步都需要很长时间，这将是一个问题。如果你有一个快速的 GPU 可以在一天内执行更多的步骤，那么这不是问题。

有几种方法可以解决梯度消失问题。我猜想 CNN 的最大影响来自于从 sigmoid 非线性单元切换到整流线性单元。如果您考虑一个简单的神经网络，其误差仅通过取决于权重，其中$E$$w_{ij}$$y_j$

$$y_j = f\left( \sum_iw_{ij}x_i \right),$$

它的梯度是

$$\begin{align} \frac{\partial}{\partial w_{ij}} E &= \frac{\partial E}{\partial y_j} \cdot \frac{\partial y_j}{\partial w_{ij}} \\ &= \frac{\partial E}{\partial y_j} \cdot f'\left(\sum_i w_{ij} x_i\right) x_i. \end{align}$$

如果是逻辑 sigmoid 函数，对于大输入和小输入，将接近于零。如果是一个整流线性单元，$f$$f'$$f$

$$\begin{align} f(u) = \max\left(0, u\right), \end{align}$$ 导数仅对于负输入为零，对于正输入为 1。另一个重要的贡献来自正确初始化权重。这篇论文看起来像是更详细地理解挑战的好资料（虽然我还没有读过）：

http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf