我已经使用 LASSO 估计了线性回归模型的回归参数，使用交叉验证将一些变量发送到零，现在我得到了最终模型。众所周知，正则化会导致对主动变量的偏差，但这是摆脱虚假变量的好代价。现在我得到了只有原始变量五分之一的最终模型，我该怎么办？我应该像冠军一样处理剩余变量的偏差，还是有一个聪明的方法可以继续？
我正则化了我的线性回归，现在呢？
机器算法验证
回归
套索
正则化
2022-03-31 23:45:28
2个回答
一种常见的方法是现在仅使用 LASSO 选择的变量重做回归（不进行正则化）。
这称为“选择后推理”。见李等人。2016 年用于查找结果估计的 p 值和置信区间。
您可能会问自己，构建此模型的目标是什么。您是否试图获得更好的预测性能？或者您想要一个具有统计意义的线性模型。这两个目标不一定一致。
从机器学习的角度来看，你总是想知道你是过拟合还是欠拟合。如果您已经拟合不足，则正则化会使情况变得更糟。
其它你可能感兴趣的问题