机器算法验证 - 当有 1 个组时，组套索是否等同于岭回归 - 吾爱随笔录

当有 1 个组时，组套索是否等同于岭回归

机器算法验证套索岭回归

2022-04-03 09:49:02

在维基百科上，它说：“如果只有一个组，它会简化为岭回归”（https://en.wikipedia.org/wiki/Lasso_(statistics)#Group_lasso）。

然而，在组套索中，我们有范数 2，但在岭回归中，我们有范数 2 的平方。由于范数 2 平方，我们可以获得岭回归的封闭形式解决方案。我不认为我们可以对只有 1 组的组套索做同样的事情。

我是否遗漏了某些东西，或者这两件事实际上并不等同？我有兴趣用 1 组有效地解决组套索（作为更大问题的一部分）。

1个回答

要看到 LASSO 组在惩罚函数中给出了与岭回归相似的解，直到一个平方，您需要查看描述组 LASSO 估计器解的次梯度条件。我认为最好的参考是http://statweb.stanford.edu/~tibs/ftp/sparse-grlasso.pdf

这些条件就是论文中的方程（4）和（5），分别是

‖ X_{l}^{⊤} (y - \sum_{k \neq l} X_{k} {\hat{β}}_{k}) ‖ < λ (1) gives you condition when {\hat{β}}_{l} = 0

$\|X^{\top}_l (y - \sum_{k\neq l} X_k \hat\beta_k)\| < \lambda \qquad \text{ (1)} \qquad \text{gives you condition when } \hat\beta_l=0$

和

{\hat{β}}_{l} = {(X_{l}^{⊤} X_{l} - \frac{λ}{‖ {\hat{β}}_{l} ‖})}^{- 1} X_{l}^{⊤} r (2) gives solution if {\hat{β}}_{l} \neq 0

$\hat\beta_l = \left(X^{\top}_l X_l - \frac{\lambda}{\|\hat\beta_l \|} \right)^{-1} X^{\top}_l r \qquad (2) \qquad \text{gives solution if } \hat\beta_l\neq0$

在哪里

r = y - \sum_{k \neq l} X_{k} {\hat{β}}_{k}

$r = y - \sum_{k\neq l} X_k \hat\beta_k$

这里l代表一个组索引，X 可以被划分为不重叠的组。如果您只有一个组，则这些条件归结为

‖ X^{⊤} (y - X \hat{β}) ‖ < λ when \hat{β} = 0

$\|X^{\top} (y - X \hat\beta)\| < \lambda \qquad \text{when } \hat\beta=0$

和

\hat{β} = {(X^{⊤} X - \frac{λ}{‖ \hat{β} ‖})}^{- 1} X^{⊤} y otherwise

$\hat\beta = \left(X^{\top} X - \frac{\lambda}{\|\hat\beta \|} \right)^{-1} X^{\top} y \qquad \text{otherwise }$

我们现在可以清楚地看到为什么带有单个组的 LASSO 组实际上是带有加权惩罚项的岭回归。使用单个组解决组 LASSO 的最简单方法是在您使用的任何软件中使用组 LASSO 的有效实现来相应地设置组索引。否则，您可以将最后一个方程迭代几次，直到系数向量没有太大变化。希望这可以帮助。

其它你可能感兴趣的问题

上一篇在 Dropout 过程中创建细化模型下一篇当我向线性模型添加一个新变量并且 R^2 保持不变时，这意味着什么？