计算科学 - 在优化问题中获得拉格朗日乘数 - 吾爱随笔录

假设我们有这个简单的优化问题

\begin{aligned} min_{x \in V} & f (x) \\ s.t. & x \leq β \end{aligned}

$\begin{align*} \underset{x\in V}{\text{min}} &~ f(x) \\ \text{s.t.}& ~x \leq \beta \end{align*}$

使用松弛变量

\begin{aligned} min_{x \in V} & f (x) \\ s.t. & x - β + s \leq 0 \\ s \geq 0 \end{aligned}

$\begin{align*} \underset{x\in V}{\text{min}} &~ f(x) \\ \text{s.t.}&~ x - \beta + s \leq 0 \\ & s \geq 0 \end{align*}$

拉格朗日

L (x, λ, s, μ) = f (x) + ⟨ λ, x - β + s ⟩_{L_{2}} + ⟨ μ, s ⟩_{L_{2}}

$\begin{equation*} \mathcal{L} \left(x, \lambda, s, \mu \right) = f(x) + \langle \lambda, x -\beta + s \rangle_{L_2} +\langle \mu, s \rangle_{L_2} \end{equation*}$ KKT条件

\forall δ λ, δ x, δ μ, δ s

$\forall \delta \lambda, \delta x, \delta \mu, \delta s$

\begin{aligned} L_{x} (δ x) & = ⟨ f^{'} (x), δ x ⟩_{L_{2}} + ⟨ λ, δ x ⟩_{L_{2}} = 0 \\ L_{λ} (δ λ) & = ⟨ x - β + s, δ λ ⟩_{L_{2}} = 0 \\ L_{s} (δ s) & = ⟨ λ, δ s ⟩_{L_{2}} + ⟨ μ, δ s ⟩_{L_{2}} = 0 \\ s \geq 0 μ \leq 0 & μ s = 0 a.e. \end{aligned}

$\begin{align*} \mathcal{L}_x (\delta x) &= \langle f'(x), \delta x \rangle_{L_2} + \langle \lambda, \delta x \rangle_{L_2} = 0\\ \mathcal{L}_{\lambda} (\delta \lambda) &= \langle x - \beta + s, \delta \lambda \rangle_{L_2} = 0 \\ \mathcal{L}_{s} (\delta s) &= \langle \lambda , \delta s \rangle_{L_2} + \langle \mu, \delta s \rangle_{L_2}= 0 \\ s \geq 0 ~ \mu \leq 0 & ~\mu s= 0 ~\text{a.e.} \end{align*}$ 现在假设我们使用一个优化算法来替换函数

f (x)

$f(x)$ 用一个更容易求解的近似值。它还取代了盒子约束

β

$\beta$ 具有更接近当前优化迭代的值。一种这样的方法是MMA。由于这种替换，KKT 条件在整个优化过程中是不同的。毕竟，盒子约束不同，它们的拉格朗日乘数也会不同。优化过程中有没有办法恢复原问题的拉格朗日乘数？