当您比较具有不同数量变量的模型时，调整后$R^2$

其背后的逻辑是，当变量数量增加时，总是增加。这意味着即使您在模型中添加了一个无用的变量，您的仍然会增加。为了平衡这一点，您应该始终将具有不同数量自变量的模型与调整后的进行比较。$R^2$$R^2$$R^2$

仅当新变量对模型的改进程度超出偶然预期时，调整后$R^2$

在尝试回答这个问题之前，我们至少需要澄清两件事：“调整后的是什么意思？”和“我们所说的‘更好’是什么意思”？$R^2$

最终，目标是估计总体中解释的真实方差比例。提出了许多不同的估计器。Gwowen Shieh比较了不少于 18 个不同的估计量，而 Karch比较了 20 个不同的估计量。可以在和中找到一个很好的概述。所以“调整后的 ”这个词是模棱两可的。不同的软件实现不同的公式是无济于事的，很难比较“调整后的 ”。例如，R根据 Yin 等人的命名法使用Wherry Formula-1 。（见这里）。$\rho^2$$^{[1]}$$^{[3]}$$[2]$$[3]$$R^2$$R^2$$^{[2]}$

现在我们所说的“更好”是什么意思？Shieh和 Karch使用模拟来比较不同估计量的偏差和均方误差(MSE)。根据研究的优先级，什么是“最佳”估算器会有所不同。$^{[1]}$$^{[3]}$

例如，Karch发现：$^{[3]}$

精确的 Olkin-Pratt 估计量是最优的。它是唯一在所有条件下都没有偏见的估计量。此外，与该条件下的其他无偏估计器相比，它在任何条件下都具有几乎相同的 MSE。因此，从这个角度来看，应该始终使用精确的 Olkin-Pratt 估计量。

但他也写道：

只有当研究人员确信最小化 MSE 比无偏性更重要时，才应该使用不同的估计量。在这种情况下，我建议根据本讨论开始时描述的策略进行个性化选择，如果这不可行，则使用 E​​zekiel 估计器的正部分版本。

有趣的是，即使是正常的、未经调整的显然是正偏的，在至少一种模拟场景中的均方误差最低。$R^2$

参考

$[1]$ : Shieh G (2008): 改进平方多重相关系数和平方交叉有效性系数的收缩估计。组织研究方法，11（2）：387-407（链接）

$[2]$ : Yin P, Fan X (2001): Estimating shrinkage in multiple regression: A comparison of different analysis methods。实验教育杂志，69（2）：203-224（链接）$R^2$

$[3]$：Karch J (2020)：改进调整后的 R 平方。Collabra：心理学（2020）6（1）：45。（链接）

有一个优势：它可以直接解释为模型解释的因变量中的方差比例。调整后没有这种解释。$R^2$$R^2$

此外，您写道，调整后 “对无用变量的模型进行惩罚”。这是真的，但不完整。首先，几乎没有变量是完全无用的。也会增加，因为偶然会有一些关系（见下文）。$R^2$$R^2$

其次，调整后会降低每个自变量的 R^2，无论是否无用事实上，在某些情况下（见下文）它对噪声变量的效果非常糟糕$R^2$$R^2$

set.seed(1234)  #Sets a seed


x1 <- rnorm(1000)  #Standard Normal, N = 1000
x2 <- rnorm(1000)  #Normal, N = 1000

y <- 3*x1 + rnorm(1000, 0, 4)  #No relation with X2

m1 <- lm (y~x1)
summary(m1) #R2 = 0.3627, adjusted = 0.3621

m2 <- lm (y~x1 + x2)
summary(m2) #R2 = 0.3635, adjusted = 0.3622

，m2 也会略微受到青睐。$R^2$

另请注意，对于这样的示例，我不必“四处寻找”，这是我尝试的第一个示例。

调整后对于比较所有 IV 都有用的模型更有用。这是一种调整模型复杂性的方法。$R^2$