一个非常简短的答案：

LSTM 将单元状态（通常用 表示c）和隐藏层/输出（通常用 表示）解耦，h并且只c对 c因此流过的梯度c保持不变并且难以消失（因此整体梯度很难消失）。但是，其他路径可能会导致梯度爆炸。

带有数学解释的更详细的答案：

我们先回顾一下CEC（Constant Error Carousel）机制。CEC 说，从时间步t到t+1，如果遗忘门为 1（原始 LSTM 论文中没有遗忘门，因此总是如此），梯度可以无变化地流动。继论文LSTM: A Search Space Odyssey附录 A.2 中的 BPTT 公式（在论文中是在其他文献中），CEC 流实际上对应于方程。当接近 1 时，无损地累积到$dl/dc^{t}$yh$\delta c^t = \dots + \delta c^{t+1} \odot f^{t+1}$$f^{t+1}$$\delta c^{t+1}$$\delta c^t$

然而，LSTM 不仅仅是 CEC。除了从到的 CEC 路径之外，在两个相邻时间步之间确实存在其他路径。例如，。通过 2 个步骤遍历反向传播过程，我们有：，我们看到在这条路径上乘了两次，就像普通 RNN 一样，这可能会导致梯度爆炸。的自乘，通过输入和遗忘门的路径也能够导致梯度爆炸。$c^{t}$$c^{t+1}$$y^t \rightarrow o^{t+1} \rightarrow y^{t+1}$$\delta y^t \leftarrow R^T_o \delta o^{t+1} \leftarrow \delta y^{t+1} \leftarrow R^T_o \delta o^{t+2}$$R^T_o$$R^T_i, R^T_f, R^T_z$

参考：

K. Greff、RK Srivastava、J. Koutn´ık、BR Steunebrink 和 J.Schmidhuber。LSTM：搜索空间奥德赛。CoRR，abs/1503.04069，2015。

LSTM/GRU 之前的 RNN 曾经是不稳定的，因为他们所做的本质上是将隐藏状态与每个时间步的权重相乘，这意味着它是指数运算。正如我们所知，求幂非常不稳定： LSTM/GRU 单元通过将乘法转换为加法来解决这个问题。您有一个单元格状态，而不是相乘，您可以添加或减去它。

但是，仍然存在一些梯度可能会变得不稳定的路径，并且网络越大，您遇到这个问题的可能性就越大。