Lasso 的稀疏性和相对于 ridge 的优势(统计学习)

机器算法验证 自习 套索 岭回归
2022-04-09 11:10:19

我正在学习统计学习,在比较套索和岭回归的部分中,它表明这两个问题之间的主要区别在于约束/惩罚的制定方式。

在 Lasso 中,惩罚是范数:,而在回归中,惩罚是 :1λ|βj|2λβj2

从几何上讲,这意味着套索将具有菱形形式的约束(二维),并且在更高维度上它将具有顶点和边。对于岭回归,在 2D 中,它是一个圆,在更高维度上是超球面。

我的问题是:作者声称你在套索中得到了 SPARSITY。我不明白为什么,即使有上面​​的几何图。Lasso 相对于岭回归的明显优势是什么?

您的见解将非常有价值。如果您的答案包含一些数学,但更重要的是直觉,我将不胜感激。谢谢

1个回答

套索惩罚将迫使一些系数迅速为零。这意味着从模型中删除了变量,因此是稀疏性的。

岭回归将或多或少地压缩系数以变得更小。这不一定会导致 0 系数和变量的删除。

在此处输入图像描述

见上图,取自 onlinecourses.science.psu.edu/stat857/node/158

圆圈代表误差函数,洋红色区域代表参数的可能值。

您可以在左图中看到,该函数可能会在轴上的一个角上触及可能的值空间。这意味着 β1 为 0。在右侧,由于二次约束,允许值的空间是圆形的,该函数可以在更多任意位置命中可能的空间