我正在训练一个模型（循环神经网络）来对 4 种类型的序列进行分类。当我进行训练时，我发现训练损失一直在下降，直到我正确分类了训练批次中超过 90% 的样本。然而，几个时期后，我注意到训练损失增加了，我的准确率下降了。这对我来说似乎很奇怪，因为我希望在训练集上性能应该随着时间的推移而提高而不是恶化。我正在使用交叉熵损失，我的学习率为 0.0002。

更新：原来学习率太高了。在足够低的学习率下，我没有观察到这种行为。但是我仍然觉得这很奇怪。欢迎任何好的解释来解释为什么会发生这种情况