WLS 回归中的多重共线性

机器算法验证 回归 异方差 多重共线性 加权回归
2022-04-06 08:46:28

我运行加权最小二乘回归来解释数据中的异方差性。当我检查所有预测变量之间的 Pearson 相关性时,我无法检测到高共线性。但是,当我应用 WLS 时,将方差的倒数作为权重,然后筛选回归的方差膨胀因子,我发现 VIF 远高于 10。

我的问题是:在我的情况下,WLS 是否总是受到多重共线性的影响,因为具有方差倒数的加权必然会导致预测变量的依赖性更高?

1个回答

这是一个很好的问题,因为它涉及关于多元回归的一个重要且基本的问题。答案是加权可以将 VIF(回归变量之间的共线性度量)上下任意量(下限为1)。

要了解为什么会这样,请考虑一个具有两个回归量的模型X1X2. (我们不必考虑响应变量:它在计算 VIF 时不起任何作用。)这是 50 个观察值的散点图,符号面积与权重成正比:

数字

如果不应用这些权重,显然相关性将是非常正的,因为这些点沿着正斜线紧密排列。事实上,他们的(未加权)VIF 是13.54: 大到足以驱动一个人仔细研究这个模型的共线性效应。(经验法则断言上述 VIF5或者10开始担心了。)

然而,权重将相关性推向了完全不同的方向。权重最大的点往往呈负相关:一些朝向左上角,另一些朝向右下角。这些导致加权相关性几乎为零。事实上,这些加权数据的 VIF 仅仅是1.44: 低和良性。

该过程相反:我们可以对数据进行加权以执行 OLS,然后在 WLS 中对它们进行加权因此,加权拟合将尽可能减少 VIF,因为它会增加它。