LASSO回归系数的解释

机器算法验证 多重回归 预测模型 解释 回归系数 套索
2022-02-11 22:33:01

我目前正在为具有约 300 个变量和 800 个观察值的数据集构建一个二元结果的预测模型。我在这个网站上阅读了很多关于与逐步回归相关的问题以及为什么不使用它的内容。

我一直在阅读 LASSO 回归及其特征选择能力,并使用“caret”包和“glmnet”成功实现了它。

我能够从“插入符号”lambda中提取具有最佳值的模型系数;alpha但是,我不熟悉如何解释系数。

  • LASSO 系数的解释方法是否与逻辑回归相同?
  • 在逻辑回归中使用从 LASSO 中选择的特征是否合适?

编辑

系数的解释,如 LASSO 回归中的指数系数,作为系数变化 1 个单位的对数几率,同时保持所有其他系数不变。

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/

1个回答

LASSO 系数的解释方法是否与逻辑回归相同?

让我换个说法:LASSO 系数的解释方式是否与逻辑回归中的OLS最大似然系数等方式相同?

LASSO(一种惩罚估计方法)旨在估计与OLS最大似然(一种不受惩罚的方法)相同的数量(模型系数)。模型是一样的,解释也是一样的。LASSO 的数值通常与OLS最大似然的数值不同:一些更接近于零,另一些则正好为零。如果应用了合理的惩罚量,LASSO 估计将比OLS最大似然估计更接近真实值,这是一个理想的结果。

在逻辑回归中使用从 LASSO 中选择的特征是否合适?

这没有固有的问题,但是您可以使用 LASSO 不仅用于特征选择,还可以用于系数估计。正如我上面提到的,LASSO 估计可能比OLS最大似然估计更准确。