如果 LASSO 等价于具有拉普拉斯先验的线性回归，那么在分量为零的集合上怎么会有质量？

机器算法验证 套索 拉普拉斯分布
2022-02-09 00:22:08

我们都熟悉 LASSO 优化（为了简单起见，这里只关注线性回归的情况）这一概念，在文献中有充分的记录。

loss=‖y−Xβ‖22+λ‖β‖1
等效于具有高斯误差的线性模型，其中参数被给定拉普拉斯先验
exp⁡(−λ‖β‖1)
我们也知道，较高的设置调整参数，λ, 越大的参数部分被设置为零。话虽如此，我有以下思考问题：

考虑一下，从贝叶斯的角度来看，我们可以计算后验概率，例如，非零参数估计位于任何给定的区间集合中，并且LASSO 设置为零的参数等于零。让我感到困惑的是，鉴于拉普拉斯先验是连续的（实际上是绝对连续的），那么在任何集合上怎么会有任何质量是间隔和单例的乘积{0}?

1个回答

就像上面所有的评论一样，LASSO 的贝叶斯解释没有 采用后验分布的期望值，如果你是一个纯粹主义者，这就是你想要做的。如果是这种情况，那么在给定数据的情况下，后验为零的可能性很小，这是对的。

实际上，LASSO 的贝叶斯解释是采用后验的 MAP（最大 A 后验）估计量。听起来您很熟悉，但对于任何不熟悉的人来说，这基本上是贝叶斯最大似然，您使用与最大发生概率（或模式）相对应的值作为 LASSO 中参数的估计量。由于分布从负方向呈指数增长直到零，并在正方向呈指数下降，除非您的数据强烈表明 beta 是其他重要值，否则后验值的最大值可能为 0。

长话短说，您的直觉似乎是基于后验的均值，但 LASSO 的贝叶斯解释是基于采用后验的模式。

其它你可能感兴趣的问题
上一篇时间序列的逻辑回归 下一篇分位数回归模型是否存在调整后的R2R2