这是一篇博客文章，回顾了一篇声称 SGD 是比 ADAM 更好的通用适配器的文章。

使用多个方法（集成）通常是有价值的，因为每种方法都有一个弱点。

您还应该看看这篇比较不同梯度下降优化器的帖子。正如您在下面看到的，Adam 显然不是某些任务的最佳优化器，因为许多任务收敛得更好。