机器算法验证 - 正则化的随机坐标下降ℓ1ℓ1 - 吾爱随笔录

机器算法验证回归套索正则化

2022-04-20 09:41:48

我最近看到了以下论文：“ Stochastic Methods for Regularized Loss Minimization $\ell_1$ ”，作者 Shai Shalev-Shwartz 和 Ambuj Tewari，ICML 2009。

在论文中，作者提出了对 LASSO 坐标下降算法的修改，其中坐标（ s）以随机顺序更新。这种修改似乎比确定性坐标下降具有更好的运行时性能。 $\beta$

您能否提供任何直觉来解释为什么这样的修改会使算法在实践中更快？

1个回答

我相信在 L2 loss（普通线性回归）的具体情况下，坐标下降的收敛速度将取决于预测变量（ 's）的相关结构。考虑它们不相关的情况。然后循环坐标下降在一个循环后收敛。 $X_i$

另一个有更多经验证据支持的启发式方法是活动集收敛的想法。与其循环遍历所有坐标，不如仅循环遍历活动的坐标（的为非零）直到收敛，然后扫描所有坐标以更新活动集。当活动集没有改变时，就会发生收敛。 $i$ $\beta_i$

其它你可能感兴趣的问题