回归中 R 平方和 p 值之间的关系是什么?

机器算法验证 回归 造型 p 值 r平方
2022-02-05 02:18:28

tl; dr - 对于 OLS 回归,更高的 R 平方是否也意味着更高的 P 值?专门针对单个解释变量(Y = a + bX + e),但也有兴趣了解 n 个多个解释变量(Y = a + b1X + ... bnX + e)。

上下文 - 我正在对一系列变量执行 OLS 回归,并试图通过生成一个包含每个解释(独立)变量的线性、对数等转换之间的 R 平方值的表格来开发最佳解释函数形式和响应(因)变量。这看起来有点像:

变量名 --linear form-- --ln(variable) --exp(variable)-- ...等

变量 1 ------- R-squared ----R-squared ----R-squared --
...等...

我想知道 R 平方是否合适,或者 P 值是否会更好。可能存在某种关系,因为更重要的关系意味着更高的解释力,但不确定这是否以严格的方式正确。

3个回答

答案是否定的,之间没有这种规律的关系R2和整体回归 p 值,因为R2取决于自变量的方差和残差的方差(与残差的方差成反比)一样多,您可以随意更改自变量的方差。

例如,考虑任何一组多元数据((xi1,xi2,,xip,yi))i索引案例并假设第一个自变量的值集,{xi1}, 有一个唯一的最大值x与第二高的值相差一个正数ϵ. 应用第一个变量的非线性变换,它发送的所有值都小于xϵ/2到范围[0,1]并发送x本身具有很大的价值M1. 对于任何此类M这可以通过合适的(缩放的)Box-Cox 变换来完成xa((xx0)λ1)/(λ1)),例如,所以我们不是在谈论任何奇怪或“病态的”。那么,作为M任意变大,R2方法1尽可能接近,无论拟合有多差,因为残差的方差将是有界的,而第一个自变量的方差与M2.


相反,您应该使用拟合优度测试(以及其他技术)在您的探索中选择合适的模型:您应该关注拟合的线性和残差的同方差性。并且不要从得到的信任回归中获取任何 p 值:在你完成这个练习之后,它们最终将变得几乎毫无意义,因为它们的解释假设表达自变量的选择不取决于根本就不是因变量,这里的情况很不一样。

这个答案不直接处理中心问题;它只不过是一些额外的信息,对于评论来说太长了。

我指出这一点是因为 econometricstatsquestion 无疑会在某些时候遇到此信息或类似的信息(说明FR2 相关的)并想知道这里其他答案中给出的信息是否错误——这并没有错——但我认为弄清楚发生了什么是值得的。

在特定情况下存在关系;如果您持有固定给定模型的观察数和预测变量数,F实际上是单调的R2, 自从

F=R2/(k1)(1R2)/(Nk)

(如果将分子和分母除以R2, 并将常数拉入k出来,你可以看到1/F1/R21如果你持有Nk持续的。)

因为对于固定的dfF和 p 值是单调相关的,R2p-value 也是单调相关的。

但是改变模型的几乎任何东西,这种关系在改变的情况下并不成立。

例如,添加一个点会使(Nk)/(k1)更大,删除一个使其更小,但做任何一个都可以增加或减少R2,所以看起来像FR2 如果您添加或删除数据,不一定要一起移动添加变量减少(Nk)/(k1)但增加R2(反之亦然),所以再次,R2不一定与F当你这样做的时候。

很明显,一旦你比较R2p-跨具有不同特征的模型的值,这种关系不一定成立,正如 whuber 在非线性变换的情况下所证明的那样

“对于 OLS 回归,更高的 R 平方是否也意味着更高的 P 值?特别是对于单个解释变量 (Y = a + bX + e)”

特别是对于单个解释变量,给定样本量,答案是肯定的。正如 Glen_b 所解释的,两者之间存在直接关系R2和检验统计量(无论是F或者t)。例如,正如在另一个问题中解释的那样(R2方正高p- 简单线性回归的值)对于具有一个协变量(和一个常数)的简单线性回归,之间的关系tR2是:

|t|=R2(1R2)(n2)

所以在这种情况下,一旦你修复n,越高R2越高t统计量和 p 值越低。

“但也有兴趣知道 n 多个解释变量(Y = a + b1X + ... bnX + e)。”

答案是一样的,但我们现在不是只看一个变量,而是一起看所有变量——因此F统计数据,正如 Glen_b 所示。在这里你必须解决这两个问题n和参数个数。或者,更准确地说,固定自由度。

上下文 - 我正在对一系列变量执行 OLS 回归,并试图开发最佳的解释函数形式 (...)

好的,所以这实际上是一个不同的问题。如果您正在寻找最好的解释功能形式,您还应该看看交叉验证技术。即使R2是对您的问题感兴趣的数量(通常不是),在样本中找到最佳拟合可能会产生很大的误导性——您通常希望您的发现在样本外泛化,并且适当的交叉验证可以帮助您避免过度拟合你的数据太多了。

在这里我猜你想要“预测”能力(因为你说你想找到“最好的解释功能形式”)。例如,如果你想做因果推理,那么R2如果没有更多关于问题的结构性/实质性知识,或其他预测性能指标将无济于事。