共线性问题被高估了！

托马斯，你表达了一个共同的观点，如果预测变量是相关的，即使是最好的变量选择技术也只是从一堆中随机挑选一个。幸运的是，这低估了回归发现真相的能力！如果您有正确类型的解释变量（外生），多元回归有望找到每个变量保持其他变量不变的效果。现在，如果变量完全相关，那么这实际上是不可能的。如果变量是相关的，可能会更难，但就当今典型数据集的规模而言，这并没有那么难。

共线性是一个低信息问题。看看 Art Goldberger 在Dave Giles 的博客上对共线性的模仿。如果应用于均值而不是偏回归系数，我们谈论共线性的方式听起来很愚蠢。

还是不服气？是时候写一些代码了。

set.seed(34234)

N <- 1000
x1 <- rnorm(N)
x2 <- 2*x1 + .7 * rnorm(N)
cor(x1, x2) # correlation is .94
plot(x2 ~ x1)

我创建了高度相关的变量 x1 和 x2，但您可以在下图中看到，当 x1 接近 -1 时，我们仍然可以看到 x2 的可变性。

现在是时候添加“真相”了：

y <- .5 * x1 - .7 * x2 + rnorm(N) # Data Generating Process

在强大的共线性问题中，普通回归能否成功？

summary(lm(y ~ x1 + x2))

哦，是的，它可以：

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.0005334  0.0312637  -0.017    0.986    
x1           0.6376689  0.0927472   6.875 1.09e-11 ***
x2          -0.7530805  0.0444443 -16.944  < 2e-16 ***

现在我没有谈论你的问题所关注的 LASSO。但是让我问你这个。如果带有向后消除的老式回归不会被共线性所迷惑，那么您为什么认为最先进的 LASSO 会呢？

Ben 的回答激励我在他提供的道路上更进一步，如果“真相”，y，在其他情况下会发生什么。

在原始示例中，y 取决于两个高度相关的变量 x1 和 x2。假设还有另一个变量 x3，比如说

x3 = c(1:N)/250 #之前定义了N，N = 1000，x3与x1的尺度相似，x3的尺度对下面的线性回归结果有影响。

“真相” y 现在定义如下

y = .5 * x1 - .7 * x3 + rnorm(N) # 数据生成过程

回归会发生什么？

摘要(lm(y ~ x1 + x2))

存在强共线性效应。x2 的标准误差太大。但是，线性回归将 x2 识别为非显着变量。

     Coefficients:
        Estimate Std. Error t value Pr(>|t|)    
(Intercept) -1.39164    0.04172 -33.354  < 2e-16 ***
x1           0.65329    0.12550   5.205 2.35e-07 ***
x2          -0.07878    0.05848  -1.347    0.178 

vif(lm(y ~ x1 + x2))

x1       x2 
9.167429 9.167429 

另一个回归案例呢？

摘要(lm(y ~ x1 + x2 + x3))

Coefficients:
        Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.02100    0.06573   0.319    0.749    
x1           0.55398    0.09880   5.607 2.67e-08 ***
x2          -0.02966    0.04604  -0.644    0.520    
x3          -0.70562    0.02845 -24.805  < 2e-16 ***

变量 x2 不显着，建议通过线性回归去除。

vif (lm(y ~ x1 + x2 + x3))

x1       x2       x3 
9.067865 9.067884 1.000105 

从上面的结果来看，线性回归中共线性不是问题，检查VIF也不是很有帮助。

让我们看看另一种情况。x3 = c(1:N) # N是之前定义的，N = 1000，x3和x1不在同一个尺度。

“真相” y 的定义与上述相同

y = .5 * x1 - .7 * x3 + rnorm(N) # 数据生成过程

回归会发生什么？

摘要(lm(y ~ x1 + x2))

存在强共线性效应。x1、x2 的标准误过大。线性回归无法识别重要变量 x1。

   Coefficients:
        Estimate Std. Error t value Pr(>|t|)    
(Intercept) -350.347      6.395 -54.783   <2e-16 ***
x1            25.207     19.237   1.310    0.190    
x2           -12.212      8.963  -1.362    0.173  

vif(lm(y ~ x1 + x2))

    x1       x2 
9.167429 9.167429 

另一个回归案例呢？

摘要(lm(y ~ x1 + x2 + x3))

Coefficients:
          Estimate Std. Error   t value Pr(>|t|)    
(Intercept)  0.0360104  0.0610405     0.590    0.555    
x1           0.5742955  0.0917555     6.259 5.75e-10 ***
x2          -0.0277623  0.0427585    -0.649    0.516    
x3          -0.7000676  0.0001057 -6625.170  < 2e-16 ***

变量 x2 不显着，建议通过线性回归去除。

vif (lm(y ~ x1 + x2 + x3))

x1       x2       x3 
9.182507 9.184419 1.001853 

注意：y 在 x1 和 x3 上的回归。请注意，x1 的标准误差仅为 0.03。

摘要(lm(y ~ x1 + x3))

Coefficients:
              Estimate Std. Error   t value Pr(>|t|)    
(Intercept) -0.1595528  0.0647908    -2.463    0.014 *  
x1           0.4871557  0.0321623    15.147   <2e-16 ***
x3          -0.6997853  0.0001121 -6240.617   <2e-16 ***

基于以上结果，我的结论是

• 当预测变量处于相似尺度时，线性回归中不存在共线性问题；
• 当预测变量不在相似的范围内时，
  • 当两个高度相关的变量都在真实模型中时，共线性不成问题；
  • 当两个高度相关的变量中只有一个在真实模型中时，
    • 如果其他“真实”变量包含在线性回归中，则线性回归将识别与显着变量相关的非显着变量。
    • 如果线性回归中不包括其他“真实”变量，则共线性问题很严重，导致标准误差膨胀。