我通过阅读 Boyd 的论文Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers 来了解 ADMM 。

该论文说 ADMM 是对乘法器方法的改进，因为后者需要最小化增广拉格朗日：

$L_\rho(x,y) = f(x) + y^T (Ax − b)+(\rho/2)\lVert Ax − b\rVert^2_2$

我们不能并行最小化，因为添加的二次惩罚项使函数不可分离。

然而，论文说 ADMM 需要最小化增强的拉格朗日函数：

$x^{k+1} = \underset{x}{\operatorname{argmin}} L_{\rho}(x,z^k,y^k)$

$z^{k+1} = \underset{z}{\operatorname{argmin}} L_{\rho}(x^{k+1},z^k,y^k)$

其中增广拉格朗日定义为

$L_{\rho}(x,z,y) = f(x) + g(z) + y^T(Ax + Bz − c)+(\rho/2)\lVert Ax + Bz − c\rVert^2_2$

论文说 ADMM 是一种改进，因为它具有与乘法器方法不同的可分解性。但是，ADMM 的增广拉格朗日不应该也是不可分离的，因为它最后还包含一个二次惩罚项？是什么让它更容易分解？$(\rho/2)\lVert Ax + Bz − c\rVert^2_2$