对 Armijo 规则的困惑

计算科学 优化
2021-12-16 00:33:07

我对行搜索中使用的 Armijo 规则感到困惑。我正在阅读回溯追踪线搜索,但没有得到这个 Armijo 规则的全部内容。谁能详细说明 Armijo 规则是什么?维基百科似乎没有很好地解释。谢谢

2个回答

一旦你获得下降方向p为您的目标函数f(x),你需要选择一个“好的”步长。您不想采取太大的步骤,以致新点处的函数大于当前点。同时,你不希望你的步长太小,以至于需要很长时间才能收敛。

Armijo 的情况基本上表明“良好”的步长是这样的,即您在f在你的新点。条件在数学上表示为

f(xk+αpk)f(xk)+βαf(xk)Tpk
在哪里pk是下降方向xkβ(0,1).

这背后的直觉是新点的函数值f(xk+αpk)应该在减少的“切线”下xk在...方向pk. 请参阅 Nocedal 和 Wright 的书“数值优化”。在第 3 章中,对 armijo 的充分减少条件进行了出色的图形描述。

五年后,这个问题仍然有效。

在这里(第 16 和 17 页)你可以找到一个很好的解释,包括一个算法。