约束优化的线搜索

计算科学 约束优化
2021-11-25 05:12:45

我有一个非线性不等式约束优化问题的形式

minf(x)s.t.g(x)0
在哪里xRn,f:RnR,g:RnRm. 我目前正在使用半光滑牛顿法 (1,2) 的伪瞬态延续 (3) 来解决这个系统。半光滑牛顿法将约束优化的局部解的 KKT 条件编码为单个半光滑方程。Pseudotransient continuation 是一个不必要的花哨名称,用于将对角项添加到该方程的梯度(包括能量的 Hessianf) 并运行牛顿法。

不幸的是,伪瞬态延续仅在对角线调整足够大的情况下全局收敛,而我目前的问题是仅收敛到两个状态之间的讨厌的周期二振荡。在没有约束的情况下,可以使用使用原始能量函数的线搜索来强制执行全局收敛f. 然而,KKT 条件仅取决于f,而不是它的值,并且原始能量在通向半光滑方程的过程中有些模糊。

问题:在约束优化的上下文中是否有自然的方法来执行线搜索?请注意,将线搜索应用于残差范数是不够的,如 Jed Brown 所述

参考:

  1. T. De Luca、F. Facchinei 和 C. Kanzow (1996),非线性互补问题求解的半光滑方程方法,数学规划,75(3),407-439。

  2. F. Facchinei、A. Fischer 和 C. Kanzow,变分不等式的半光滑牛顿法:理论结果和初步数值经验。

  3. Kelley, C., Keyes, DE (1998)。伪瞬态延续的收敛性分析。SIAM 数值分析杂志,508-523。

1个回答

是的。约束优化算法以与无约束优化算法相同的基本方式更新其迭代,使用形式的更新xk+1=xk+αkdkRn, 在哪里dkRn是更新的方向,xk+dk是可行的,并且αk[0,1]选择使得f(xk+αkdk)<f(xk)使用线搜索算法。(某些变体将设置αk=1,并强制测向算法选择和缩放dk适当地实现收敛。)

这种形式的算法示例包括可行方向、条件梯度和梯度投影算法。