LARS 与套索的坐标下降

机器算法验证 回归 套索 正则化
2022-03-18 21:08:44

使用 LARS [1] 与使用坐标下降法拟合 L1 正则化线性回归的优缺点是什么?

我主要对性能方面感兴趣(我的问题往往N有数十万且p<20)。但是,任何其他见解也将不胜感激。

编辑:由于我已经发布了这个问题,chl 友好地指出了 Friedman 等人的一篇论文 [2],其中坐标下降显示出比其他方法快得多。如果是这样的话,作为一名从业者,我是否应该简单地忘记 LARS 以支持坐标下降?

[1] 埃夫隆,布拉德利;海斯蒂,特雷弗;Johnstone, Iain 和 Tibshirani, Robert (2004)。“最小角度回归”。统计年鉴 32 (2):第 407-499 页。
[2] Jerome H. Friedman、Trevor Hastie、Rob Tibshirani,“通过坐标下降的广义线性模型的正则化路径”,统计软件杂志,卷。33,第 1 期,2010 年 2 月。
1个回答

在 scikit-learn 中,具有坐标下降的 Lasso的实现往往比我们的 LARS 实现更快,尽管对于小 p(例如在您的情况下)它们大致相等(LARS 甚至可能会更快一点,最新的优化可用主回购)。此外,坐标下降允许有效实现弹性网络正则化问题。LARS 不是这种情况(它只解决 Lasso,也就是 L1 惩罚问题)。

与 Lasso 相比,Elastic Net 惩罚倾向于产生更好的泛化(更接近岭回归的解决方案),同时保持 Lasso 良好的稀疏诱导特征(监督特征选择)。

对于大 N(和大 p,稀疏与否),您还可以尝试随机梯度下降(使用 L1 或弹性网络惩罚)(也在 scikit-learn 中实现)。

编辑:这里有一些比较 LassoLARS 和scikit-learn 中的坐标下降实现的基准