机器算法验证 - 为什么“松弛套索”与标准套索不同？ - 吾爱随笔录

为什么“松弛套索”与标准套索不同？

机器算法验证回归优化套索正则化

2022-02-06 12:17:16

如果我们从一组数据开始，对其应用 Lasso 并获得解，我们可以再次将 Lasso 应用于数据集，其中是非的零索引，以获得解决方案，称为“松弛套索”解决方案（如果我错了，请纠正我！）。解必须满足的Karush–Kuhn–Tucker (KKT) 条件，的 KKT 条件的形式，它不也满足这些条件吗？如果是这样，第二次做 LASSO 有什么意义？ $(X,Y)$ $\beta^L$ $(X_S, Y)$ $S$ $\beta^L$ $\beta^{RL}$ $\beta^L$ $(X,Y)$ $(X_S, Y)$

这个问题是后续问题：做“双套索”或两次套索的好处？

1个回答

根据Meinshausen(2007)的定义 1 ，有两个参数控制松弛 Lasso 的解。

第一个，，控制变量选择，而第二个，，控制收缩水平。当时，Lasso 和 Relax-Lasso 都相同（如您所说！），但对于，您获得的解的系数更接近于在所选变量上给出正交投影的解（一种软 de -偏见）。 $\lambda$ $\phi$ $\phi= 1$ $\phi<1$

这个公式实际上对应于解决两个问题：

首先是带有惩罚参数 $\lambda$
其次是上的 Lasso ，将简化为由 1 选择的变量，并带有一个惩罚参数。 $X_S$ $X$ $\lambda\phi$

其它你可能感兴趣的问题

上一篇使样本量成为随机变量意味着什么？下一篇受治疗影响的协变量需要良好的数据示例