我正在使用具有 RMSProp、Adam 和 SGD 的网络对 EMNIST 验证集进行实验。我使用 SGD（学习率为 0.1）和 dropout（0.1 dropout prob）以及 L2 正则化（1e-05 惩罚）实现了 87% 的准确率。当使用 RMSProp 和 Adam 以及初始学习率 0.001 测试相同的精确配置时，我实现了 85% 的准确度和明显不太平滑的训练曲线。我不知道如何解释这种行为。训练曲线缺乏平滑度以及获得的准确度较低和错误率较高的原因可能是什么？