关于 Boyd 等人对 ADMM 的收敛性分析:为什么我们需要凸性假设?

计算科学 优化 凸优化 管理员
2021-12-28 05:07:40

请参考Boyd 等人对 ADMM 的收敛性分析(第 3 章和附录 A)。

我的问题是:为什么我们需要是凸的? fg

我不认为需要这个假设。如果去掉凸性假设,分析仍然有效。

谢谢。

2个回答

巩固我的评论:不等式的证明(A.2)基于以下事实:子步骤(3.2)和(3.3)的解分别是全局最小化器,因此您可以将它们分别与鞍点进行比较。(这里,Boyd 使用了次微分表征,但我相信您也可以直接使用最优性推导出它。)但这只有在子问题是凸的(其中任何最小化器都是全局最小化器)时才能保证,如果是凸的。xk+1zk+1xzfg

这并不是说 ADMM不能处理非凸问题——事实上,这是目前非平滑优化和图像处理中的一个非常热门的话题——但你只能使用局部最小化器这一事实使得分析(和实践)显着更多涉及。

我花了很长时间才弄清楚。

如果去除凸性假设,则以下等式(第 9 行,第 108 页)不再成立:

Lρ(xk+1,zk,yk)=f(xk+1)+ATyk+ρAT(Axk+1+Bzkc).
更准确地说,这个等式只有在f(xk+1)(如果f是凸的)。同样对于g.