以我的经验，改变优化器不是简单的换一个。相反，更改优化器还会与神经网络中的其他几个配置选择交互。

• 优化器与初始化方案交互，因此可能需要更改。

• 可能需要更改学习率。

• 学习率计划可能需要调整。

• 在某些情况下，具有动量的 SGD 可以比 Adam 有很大的改进。请参阅：Ashia C. Wilson、Rebecca Roelofs、Mitchell Stern、Nathan Srebro、Benjamin Recht 的“机器学习中自适应梯度方法的边际价值”

  自适应优化方法使用从迭代历史构建的度量执行局部优化，在训练深度神经网络中变得越来越流行。示例包括 AdaGrad、RMSProp 和 Adam。我们表明，对于简单的过度参数化问题，自适应方法通常会找到与梯度下降 (GD) 或随机梯度下降 (SGD) 截然不同的解决方案。我们构建了一个说明性的二元分类问题，其中数据是线性可分的，GD 和 SGD 实现了零测试误差，而 AdaGrad、Adam 和 RMSProp 实现了任意接近一半的测试误差。我们还研究了自适应方法在几种最先进的深度学习模型上的经验泛化能力。我们观察到，通过自适应方法找到的解决方案的泛化能力比 SGD 更差（通常明显更差），即使这些解决方案具有更好的训练性能。这些结果表明，从业者应该重新考虑使用自适应方法来训练神经网络。