如何将软系数约束应用于 OLS 回归?

机器算法验证 优化 最小二乘 岭回归
2022-04-10 12:57:32

我想估计形式的普通最小二乘回归

y=Xβ+ε, 
除了最小化残差平方和之外,
SSR(b)=(yXb)(yXb)
我想最小化
(yXb)(yXb)+λ(bβ~)(bβ~)
在哪里λ是一些常数。否则,上面的符号与wikipedia上的一样。满足所有标准假设。

有什么方法可以修改回归以执行联合最小化?

2个回答

对目标函数进行微分b并等同于0表明修正方程的解是通过求解

(XX+λ)b=Xy+λβ~.

如果您的软件不会直接执行此操作,则可以使用此技巧获得相同的结果:

  • 在数据集中包含一列 1 以显式建模常量。在没有常数项的情况下进行拟合。

  • 为了p自变量(包括常数),包括p额外的虚假数据。对于假案i,i=1,,p, 放Xi=λ,y=λβ~, 和所有其他Xj=0. (当然我们需要λ0.)

虽然你可以获得解决方案b^这样,我怀疑任何来自这种拟合的统计数据是否有意义。

这看起来很像岭回归R 包中的lm.ridge函数执行岭回归,包中的函数也执行惩罚回归。如果这些都不完全符合您的要求,则可以将它们用作起点。您还可以查看使用 L1 惩罚项而不是 L2 的 lasso 和 lars 算法(R 也有这些算法包)。MASSolsMASS