我从 DL 课程中了解到，Adam 应该是神经网络训练的默认选择。但是，我最近看到越来越多的强化学习代理使用 RMSProp 而不是 Adam 作为优化器，例如来自 DeepMind 的 FTW。我想知道什么时候更喜欢 RMSProp 而不是 Adam，什么时候相反？

我知道这两种算法的背景数学。据我所知，Adam 通过包括动量和偏差校正来改进 RMSProp。因此，我个人更喜欢 Adam 作为默认选择。但是这些天我开始在 RMSProp 和 Adam 之间摇摆不定。希望有人可以对这些优化算法提供更全面的指导（更好地了解如何调整超参数，例如动量）。提前致谢！