我听说如果先验选择得当,岭回归可以作为后验分布的均值推导出来。直觉上由先验对回归系数设置的约束(例如,0 附近的标准正态分布)是否相同/替换对系数平方大小设置的惩罚?先验是否必须是高斯的才能保持这种等价性?
岭回归——贝叶斯解释
机器算法验证
贝叶斯
事先的
岭回归
2022-02-11 09:14:31
2个回答
不,从某种意义上说,其他先验确实在逻辑上与其他惩罚相关。一般来说,您确实希望更多的质量接近零效应()以减少过度拟合/过度解释。Ridge 是一个二次 (L2, Gaussian) 惩罚,lasso 是一个(L1,拉普拉斯或双指数分布)惩罚。许多其他处罚(先验)是可用的。贝叶斯方法的优点是产生可靠的解释(和可靠的可信区间),而惩罚最大似然估计(岭、套索等)产生难以解释的值和置信区间,因为频率论方法有些混乱通过有偏差(缩小到零)的估计量。
两点:
贝叶斯情况下的后验分布是一个分布。岭回归估计只是一个向量而不是分布。因此它们并不完全等价。
It is true that in the case of a multivariate normal prior and multivariate normal likelihood, the posterior is multivariate normal with a mean that is the ridge regression estimate for an appropriately chosen ridge parameter.
这一点的证明取决于先验和似然的特定形式,不适用于更一般的先验或似然函数。
其它你可能感兴趣的问题