计算科学 - 了解不精确线搜索的 Wolfe 条件 - 吾爱随笔录

了解不精确线搜索的 Wolfe 条件

计算科学优化

2021-12-03 00:42:14

根据 Nocedal & Wright 的 Book Numerical Optimization (2006)，不精确线搜索的 Wolfe 条件是，对于下降方向 $p$ ,

充分减少： $f(x+\alpha p)\le f(x)+c_1\alpha_k\nabla f(x)^T p$
曲率条件： $\nabla f(x+\alpha p)^Tp\ge c_2 \nabla f(x)^T p$
为了 $0<c_1<c_2<1$

我可以看到充分减少条件如何表明新点处的函数值 $x+\alpha p$ 必须在切线下 $x$ . 但我不确定曲率条件在几何上告诉我什么。还有，为什么一定要关系 $c_1<c_2$ 被强加？这在几何上实现了什么？

1个回答

曲率条件本质上是这样说的：我们知道 $\nabla f(x)\cdot p < 0$ （因为 $p$ 是下降方向）。所以在方向 $p$ ，它走下坡路。现在，我们正在寻找一个最小值，即一个点 $\nabla f=0$ . 这意味着我们不想接受步长 $x+\alpha p$ 其中方向的梯度 $p$ ， IE， $\nabla f(x+\alpha p) \cdot p$ 仍然像在 x 处一样为负。相反，我们想停在梯度不那么负甚至正的地方。

因为曲率条件的右手边是负数，所以条件的一个常见变体是要求

| \nabla f (x + α p) \cdot p | \leq c_{2} | \nabla f (x) \cdot p |

$|\nabla f(x+\alpha p) \cdot p| \le c_2 |\nabla f(x) \cdot p|$ 我通常觉得更容易理解。

了解这一点将使您可以轻松构建无法满足这两个条件的情况，除非 $c_1<c_2$ .

其它你可能感兴趣的问题

上一篇为论文编写代码以便读者可以清楚地将结果与生成它们的代码相匹配的最有用的方法是什么？下一篇单精度与双精度浮点