最小角度回归与套索

机器算法验证 回归 套索
2022-02-14 15:14:24

最小角度回归和套索倾向于产生非常相似的正则化路径(相同,除非系数过零。)

它们都可以通过几乎相同的算法有效地拟合。

是否有任何实际理由偏爱一种方法而不是另一种方法?

4个回答

在分阶段模式下使用时,LARS 算法是一种贪心方法,不会产生可证明一致的估计量(换句话说,当您增加样本数量时,它不会收敛到稳定的结果)。

相反,LASSO(以及在 LASSO 模式下使用时的 LARS 算法)解决了凸数据拟合问题。特别是,这个问题(L1 惩罚线性估计器)有很多很好的证明属性(一致性、稀疏性)。

因此,我会尝试始终在 LASSO 模式下使用 LARS(或为 LASSO 使用其他求解器),除非您有充分的理由更喜欢分阶段。

“没有免费的午餐”定理表明统计推断算法之间没有先验差异,即 LARS 还是 LASSO 效果最好取决于特定数据集的性质。那么在实践中,最好同时尝试并使用一些可靠的泛化性能估计器来决定在操作中使用哪个(或使用集成)。由于 LARS 和 LASSO 之间的差异很小,因此性能上的差异也可能很小,但通常只有一种方法可以确定!

LASSO 本身不是算法,而是算子。

有许多不同的方法可以为正则化问题推导出有效算法。例如,可以使用二次规划直接处理它们。我想这就是你所说的 LASSO。1

另一个是 LARS,由于其简单性、与前向过程的连接(但不太贪心)、非常有建设性的证明和易于泛化而非常受欢迎。

即使与最先进的二次规划求解器相比,LARS 的效率也高得多。

如前所述,LARS 是解决 Lasso 问题(即正则化最小二乘问题)的一种特殊方法。它的成功源于这样一个事实,即它需要与标准最小二乘回归相当的渐近努力,因此比解决二次规划问题所需的性能要好得多。LARS 的后续扩展还解决了更一般的弹性网问题,其中您将正则化项的总和包含到最小二乘泛函中。l1l1l2

这个答案的目的是指出现在的 LARS 似乎已被坐标下降随机坐标下降方法所取代。这些方法基于特别简单的算法,同时性能似乎高于 LARS(通常快一到两个数量级)。例如,参见弗里德曼等人的这篇论文

因此,如果您计划实施 LARS,请不要这样做。使用坐标下降,这需要几个小时。