如何将软系数约束应用于 OLS 回归?
机器算法验证
优化
最小二乘
岭回归
2022-04-10 12:57:32
2个回答
对目标函数进行微分并等同于表明修正方程的解是通过求解
如果您的软件不会直接执行此操作,则可以使用此技巧获得相同的结果:
在数据集中包含一列 1 以显式建模常量。在没有常数项的情况下进行拟合。
为了自变量(包括常数),包括额外的虚假数据。对于假案,, 放,, 和所有其他. (当然我们需要.)
虽然你可以获得解决方案这样,我怀疑任何来自这种拟合的统计数据是否有意义。
这看起来很像岭回归,R 包中的lm.ridge函数执行岭回归,包中的函数也执行惩罚回归。如果这些都不完全符合您的要求,则可以将它们用作起点。您还可以查看使用 L1 惩罚项而不是 L2 的 lasso 和 lars 算法(R 也有这些算法包)。MASSolsMASS
其它你可能感兴趣的问题