LSTMs 能够学习长期依赖的方式是通过保持一个单元状态作为各种记忆。该单元状态根据单元内不同门的值进行更新，忘记门是其中之一。
遗忘门查看先前的隐藏状态和当前输入，并为单元状态中的每个值输出一个介于 0 和 1 之间的数字 - 决定应该丢弃哪些值以及保存哪些值。
在训练过程中，细胞会学习在不同的时间步长应该保持细胞状态中的哪些值，以便为手头的任务产生更好的结果。现在，准确地说出这些值是什么是很困难的，因为它在样本和时间步长之间会发生变化。
例如，假设您的目标是根据前 10 天预测明天的温度。如果您在前 10 天的第 3 天有异常值，则可能会阻碍预测，并且单元格可能会决定忘记该值。在其他情况下，它可能决定保留第 3 天的值，因为它有助于预测。
如果你想更好地理解 LSTM，我建议Chris Olah 写这篇很棒的文章。