计算科学 - 大规模几乎线性优化 - 吾爱随笔录

我目前正在尝试最小化以下功能：

min_{x, y, s} ‖ F x - a ‖_{2}^{2} + ‖ S F y - b ‖_{2}^{2} + λ ‖ max (x, y) ‖_{1},

$\min_{\mathbf x,\mathbf y,s} \|F\mathbf x-\mathbf a\|_2^2 + \|SF\mathbf y-\mathbf b\|_2^2 + \lambda \|\max(\mathbf x, \mathbf y)\|_1,$

x > 0, y > 0 .

$\mathbf x>\mathbf 0, \mathbf y>\mathbf 0.$ 这里和都是线性算子。是离散傅里叶变换，是“傅里叶域中移位和是元素方面的。

F

$F$

S

$S$

F

$F$

S

$S$

s

$s$

(S f)_{k} = f_{k} \cdot e^{- 2 π i u_{k} s}

$(Sf)_k = f_k \cdot e^{-2\pi i u_k s}$

max (x, y)

$\max(\mathbf x, \mathbf y)$

所以问题基本上是正则化的最小二乘，并且应该有望导致稀疏解在大约相同的位置具有非零元素（直到显式移位）。 $\mathbf x, \mathbf y$ $s$

请注意，它几乎是线性的，但由于正则化器的不连续性和对非线性依赖性。对于固定，我使用 LBFGS 方法得到了很好的结果（接近真实值）。当针对某个范围内的每个分别进行优化时，我看到真实值附近有一个明显的最小值。但是当我将变量包含在优化中时，它的值与初始值基本没有变化，无论它接近还是远离真相。 $s$ $s$ $\mathbf x,\mathbf y$ $s$ $s$

我猜问题是（的）函数在整个范围内都有许多局部最小值。如何正确解决问题，或者在哪里阅读类似问题？我尝试过的 scipy 中的其他常见优化算法没有成功。 $s$