以几何方式理解 Lasso 回归的稀疏性

机器算法验证 回归 套索
2022-03-28 12:36:37

每当有人写有关 Lasso 和 Ridge 回归的文章时,您都可以用圆圈或菱形绘制此图。

在此处输入图像描述

在菱形(Lasso 回归)的情况下,总是说明 Lasso 将系数之一强制为 0。因此它引入了稀疏性。我以某种方式理解它,但是每当我看到图表时,我的疑虑就会回来。为什么不能这样画:

在此处输入图像描述

显然,在这种情况下,没有一个系数被强制为零。两者都可以取-1和1之间的数字。我错过了什么?我的画一定是错的,但我不明白为什么他们总是画,所以它击中β1=0

编辑:

刚刚找到这个报价:

但是,套索约束在每个轴上都有角,因此椭圆通常会在轴上与约束区域相交

是这样吗?它会经常与约束区域相交,但不是必须的?不能把我的头绕过去。我只能想象,在更高维度的情况下,撞到角落变得更有可能甚至不可避免。

2个回答

围绕你的点的每个圆圈实际上是第三维中的等值线,即向上,并且这条线上的每个点都具有相同的损失函数值。你可以画出无数条这样的线,因为这些线是对应该是表面的东西的视觉简化。β

回答你的问题:再画一条额外的等值线,你会得到一个与你的正方形顶点相交的等值线。

套索强制参数立即为零是不正确的……正确的是套索导致参数作为套索系数α

这是此类图表上参数的实际路径的图片:取自Lasso 回归特征选择

在此处输入图像描述

这是一个不同的可视化,取自:Graphical path Coordinate Descent in case of semi-differentiable functions,例如3D中的 Lasso

在此处输入图像描述

它们都不是强制的,但 L1 与 0 相交的可能性更高。这可以在第一张图片中看到,对于相同的水平曲线,由于 L2 的圆突出,它会阻止清晰地访问轴,而 L1 的轴则较少被其菱形遮挡。因此 L1 更可能产生 0 的系数。