我对行搜索中使用的 Armijo 规则感到困惑。我正在阅读回溯追踪线搜索,但没有得到这个 Armijo 规则的全部内容。谁能详细说明 Armijo 规则是什么?维基百科似乎没有很好地解释。谢谢
对 Armijo 规则的困惑
计算科学
优化
2021-12-16 00:33:07
2个回答
一旦你获得下降方向为您的目标函数,你需要选择一个“好的”步长。您不想采取太大的步骤,以致新点处的函数大于当前点。同时,你不希望你的步长太小,以至于需要很长时间才能收敛。
Armijo 的情况基本上表明“良好”的步长是这样的,即您在在你的新点。条件在数学上表示为
在哪里是下降方向和.
这背后的直觉是新点的函数值应该在减少的“切线”下在...方向. 请参阅 Nocedal 和 Wright 的书“数值优化”。在第 3 章中,对 armijo 的充分减少条件进行了出色的图形描述。
五年后,这个问题仍然有效。
在这里(第 16 和 17 页)你可以找到一个很好的解释,包括一个算法。