当一个特定的预测变量在统计上显着并不意味着它也显着提高了模型的预测性能。预测性能与效应大小更相关。例如，下面的函数模拟来自具有两个预测变量x1和的线性回归模型的数据x2，并拟合两个模型，一个具有两个x1和x2，一个具有x1单独的模型。在该函数中，您可以更改 的效果大小x2。该函数报告 和 的系数的置信区间x1，x2以及$R^2$两个模型的值作为预测性能的度量。

功能是：

sim_ES <- function (effect_size = 1, sd = 2, n = 200) {
    # simulate some data
    DF <- data.frame(x1 = runif(n, -3, 3), x2 = runif(n, -3, 3))
    DF$y <- 2 + 5 * DF$x1 + (effect_size * sd) * DF$x2 + rnorm(n, sd = sd)

    # fit the models with and without x2
    fm1 <- lm(y ~ x1 + x2, data = DF)
    fm2 <- lm(y ~ x1, data = DF)

    # results
    list("95% CIs" = confint(fm1),
         "R2_X1_X2" = summary(fm1)$r.squared,
         "R2_only_X1" = summary(fm2)$r.squared)
}

例如，对于我们得到的默认值，

$`95% CIs`
               2.5 %   97.5 %
(Intercept) 1.769235 2.349051
x1          4.857439 5.196503
x2          1.759917 2.094877

$R2_X1_X2
[1] 0.9512757

$R2_only_X1
[1] 0.8238826

所以x2很重要，并且不将其包含在模型中会对$R^2$.

但是如果我们将效果大小设置为 0.3，我们会得到：

> sim_ES(effect_size = 0.3)
$`95% CIs`
                2.5 %    97.5 %
(Intercept) 1.9888073 2.5563233
x1          4.9383698 5.2547929
x2          0.3512024 0.6717464

$R2_X1_X2
[1] 0.9542341

$R2_only_X1
[1] 0.9450327

系数仍然显着，但在改善$R^2$非常小。

这是在多元回归中发生的相当正常的事情。最常见的原因是您的预测变量彼​​此相关。换句话说，您可以从其他预测变量的值推断 X。因此，虽然如果它是您拥有的唯一预测器，它对预测很有用，但一旦您拥有所有其他预测器，它就不会提供太多额外信息。您可以通过在其他预测变量上回归 X 来检查是否是这种情况。我还会参考免费在线教科书 Elements of Statistical Learning 中关于线性回归的章节。