Ridge 和 Lasso 回归模型中的分布假设是什么?

机器算法验证 回归 多重回归 套索 岭回归
2022-04-16 21:18:08

Lasso 回归或 Ridge 回归等回归模型的特征分布假设是什么?为什么具有高斯分布的特征更好?

2个回答

你的问题并不完全清楚。该答案假定“特征分布”是指跨解释变量的响应的条件分布。

在一般线性模型下,回归估计是通过最小化残差平方和来获得的

RSS=i=1n(yiβ0j=1pβjxij)2.

相比之下,岭回归旨在最小化

RSS+λj=1pβj2,

Lasso 回归旨在最小化

RSS+λj=1p|βj|,

在哪里λ是一个调整参数。

因此,岭回归和套索回归是一般线性模型的特例。他们添加了惩罚项,但除此之外,所有相同的条件都适用,包括在解释变量的范围内具有零均值和恒定方差的条件独立高斯残差。

从贝叶斯的角度来看,假设只是在系数的先验中。岭回归等价于使用高斯先验,而 LASSO等价于使用拉普拉斯先验。正如@whuber 所说,这些模型不对解释变量的分布做出假设。