我正在学习统计学习,在比较套索和岭回归的部分中,它表明这两个问题之间的主要区别在于约束/惩罚的制定方式。
在 Lasso 中,惩罚是范数:,而在回归中,惩罚是 :。
从几何上讲,这意味着套索将具有菱形形式的约束(二维),并且在更高维度上它将具有顶点和边。对于岭回归,在 2D 中,它是一个圆,在更高维度上是超球面。
我的问题是:作者声称你在套索中得到了 SPARSITY。我不明白为什么,即使有上面的几何图。Lasso 相对于岭回归的明显优势是什么?
您的见解将非常有价值。如果您的答案包含一些数学,但更重要的是直觉,我将不胜感激。谢谢
