随机岭回归的方差-协方差矩阵λλ

机器算法验证 机器学习 交叉验证 协方差矩阵 岭回归
2022-03-21 06:36:05

在带有设计矩阵的岭回归中X, 结果y, 固定正则化参数λ, 和错误ϵN(0,σ2I), 岭回归系数的计算β^(又名解决方案argminb[(yXb)(yXb)+λbb]) 和它们的方差-协方差矩阵var(β^)

M:=(XX+λI)1Xβ^=Myvar(β^)=σ2MM

的计算依赖于将视为一个常数值,这使得成为常数。因此,我们可以应用恒等式来推导var(β^)λMvar(My)=Mvar(y)Mvar(y)=σ2Ivar(β^)

但是,当使用时(对于我的应用程序通过交叉验证),变得随机。如何以处理通过交叉验证选择λXyλMvar(β^)λ

1个回答

我猜这些方程是最大似然解。参数的 MLE 将似然函数的二阶导数的逆矩阵作为其方差-协方差矩阵。这意味着 var data,如果包含 lambda 参数,则此偏导数不会改变。您在B和 lambda之间引入了协方差。您通过交叉验证而不是 MLE 优化 lambda 的事实并没有改变 beta 的故事。(B^)2L(B^)/B2