（多年后）查找 Barzilai-Borwein 步长方法； onmyphd.com有一个不错的 3 页描述。作者说

这种方法效果很好，即使对于大尺寸问题

但这对于他的 2d Rosenbrock 函数的小程序来说很糟糕。如果有人使用 Barzilai-Borwein，请发表评论。

你在正确的轨道上。一种常见的方法是，当您成功下坡时，将步长加倍，当您不小心走“太远”时，将步长减半。当然，您可以按除 2 以外的某个因子进行缩放，但通常不会有太大的不同。

更复杂的优化方法可能会大大加快收敛速度​​，但如果您出于某种原因必须推出自己的更新，则上述方法非常简单且通常足够好。