如何解决四阶非负 LASSO 问题?

计算科学 优化 约束优化 非凸的
2021-12-15 22:10:38

我需要解决以下四阶非负 LASSO 问题:

minx0|||Ax|2b||2+λ||x||1
其中表示元素平方。是小尺寸(例如,)。||2AAR100×100

这个问题是非凸的,我担心收敛和卡在鞍点上。

我的努力

将原始问题拆分如下: 那么优化可以使用原始对偶算法(例如 Chambolle-Pock's)完成,产生两个更新子步骤:

minx0,y|||y|2b||2+λ||x||1s.t.y=Ax

  • x -update 是一个可解的非负 LASSO 问题(给定估计):yy^

    minx0μ||Axy^||2+λ||x||1

  • y -update 是一个四阶元素问题,可以通过穷举搜索或牛顿法解决,但我不知道收敛性(给定估计):xx^

    miny|||y|2b||2+μ||yAx^||2

问题

  • 我的实现不收敛;以及近端梯度下降。从我的数值实验来看,初始点似乎起着非常非常重要的作用。

  • 因此,这种方法尚不清楚我们是否可以最终得到一个足够接近最优值的点。

问题

我想知道这个问题是否有其他方法。可证明有效的方法是优选的。

1个回答

我想这种方法的一个问题是它也会“稀疏”渐变。如果您查看目标函数:

Φ(x)=||(Ax)(Ax)b||2+λ||x||1

如果使用近端梯度法,我们有

xk+1=P(xkαAT(((Axk)(Axk)b)(Axk)))

是在缩放的 L1 球上的投影,而是步长。需要指出的重要部分是表达式末尾如果被缩小,它会降低它被缩小的区域/附近的梯度强度。因此,如果变得稀疏,则可能存在梯度变得非常小的区域。然后你可能会被卡住,不能再收敛到全局最小值。Pα(Axk)xkxk

如果内核具有某些属性,这也会产生问题。例如,假设输入具有或多或少恒定的区域。如果卷积的内核是反对称的,则该区域将产生非常低的结果,梯度也将非常小,即使一大块可能位于那里。xAxx