逻辑回归 - 多重共线性问题/陷阱

机器算法验证 回归 物流 多重共线性
2022-01-22 12:38:01

在逻辑回归中,是否需要像在直接 OLS 回归中那样关注多重共线性?

例如,对于存在多重共线性的逻辑回归,您是否需要谨慎(就像在 OLS 回归中一样)从 Beta 系数中进行推断?

对于 OLS 回归,高多重共线性的一个“修复”是岭回归,逻辑回归有类似的东西吗?此外,删除变量或组合变量。

哪些方法可以合理地减少逻辑回归中多重共线性的影响?它们本质上与 OLS 相同吗?

(注意:这不是设计实验的目的)

1个回答

所有关于多重共线性的相同原则都适用于逻辑回归,就像它们适用于 OLS 一样。可以使用评估多重共线性的相同诊断方法(例如 VIF、条件数、辅助回归),并且可以使用相同的降维技术(例如通过主成分分析组合变量)。

chl 的这个答案将引导您找到一些资源和 R 包,用于拟合惩罚逻辑模型(以及对这些类型的惩罚回归过程的良好讨论)。但是你关于多重共线性的“解决方案”的一些评论让我有点不安。如果您只关心估计不共线变量的关系,这些“解决方案”可能很好,但如果您对估计共线变量的系数感兴趣,这些技术并不能解决您的问题。尽管多重共线性问题是技术性的,因为您的预测变量矩阵无法反转,但它具有逻辑模拟,即您的预测变量不是独立的,并且它们的影响无法唯一确定。