机器算法验证 - 应偏R2R2加起来总计R2R2在多元回归中？ - 吾爱随笔录

以下是从mtcars数据集创建的模型：

> ols(mpg~wt+am+qsec, mtcars)

Linear Regression Model

ols(formula = mpg ~ wt + am + qsec, data = mtcars)

                Model Likelihood     Discrimination    
                   Ratio Test           Indexes        
Obs       32    LR chi2     60.64    R2       0.850    
sigma 2.4588    d.f.            3    R2 adj   0.834    
d.f.      28    Pr(> chi2) 0.0000    g        6.456    

Residuals

    Min      1Q  Median      3Q     Max 
-3.4811 -1.5555 -0.7257  1.4110  4.6610 

          Coef    S.E.   t     Pr(>|t|)
Intercept  9.6178 6.9596  1.38 0.1779  
wt        -3.9165 0.7112 -5.51 <0.0001 
am         2.9358 1.4109  2.08 0.0467  
qsec       1.2259 0.2887  4.25 0.0002

该模型看起来不错 $R^2$ 0.85。然而，部分 $R^2$ 在下图中看到的值不等于该值。它们加起来约为 0.28。

> plot(anova(mod), what='partial R2')

在此处输入图像描述

所有部分的总和之间是否有任何关系 $R^2$ 和总计 $R^2$ ? 分析是用rms包完成的。

不。

一种理解部分的方法

R^{2}

$R^2$ 对于给定的预测变量，它等于

R^{2}

$R^2$ 如果您首先在所有其他预测变量上回归自变量，取残差，然后在剩余的预测变量上回归，您会得到。

因此，例如，如果所有预测变量都完全相同（共线），则可以有不错的

R^{2}

$R^2$ , 但部分

R^{2}

$R^2$ 对于所有预测变量都将完全为零，因为任何单个预测变量的附加解释能力为零。

另一方面，如果所有预测变量一起完美地解释了因变量，即

R^{2} = 1

$R^2=1$ ，然后部分

R^{2}

$R^2$ 对于每个预测器将是

1

$1$ 同样，因为所有其他预测器无法解释的任何东西都可以用剩下的预测器完美地解释。

所以所有部分的总和

R^{2}

$R^2$ 很容易低于或高于总数

R^{2}

$R^2$ . 即使所有预测变量都是正交的，它们也不必重合。部分的

R^{2}

$R^2$ 是一个有点奇怪的措施。