调整后的 R 平方是否寻求估计固定分数或随机分数总体 r 平方?

机器算法验证 回归 估计 r平方
2022-03-25 01:31:42

人口 r 平方ρ2可以在假设固定分数或随机分数的情况下定义:

  • 固定分数:样本量和预测变量的特定值保持固定。因此,ρf2是当预测变量值保持不变时,总体回归方程在结果中解释的方差比例。

  • 随机分数:预测变量的特定值是从分布中得出的。因此,ρr2是指在预测变量值与预测变量的总体分布相对应的总体结果中解释的方差比例。

我之前曾询问过这种区别是否对ρ2. 我还普遍询问了如何计算的无偏估计 ρ2.

我可以看到,随着样本量变大,固定分数和随机分数之间的区别变得不那么重要了。但是,我正在尝试确认是否已调整R2旨在估计固定分数或随机分数ρ2.

问题

  • 被调整R2 旨在估计固定分数或随机分数ρ2?
  • 是否有原则解释调整 r 平方的公式如何与一种或其他形式的ρ2?

我困惑的背景

当我阅读 Yin and Fan (2001, p.206) 时,他们写道:

多元回归模型的基本假设之一是自变量的值是已知常数,并且在实验前由研究人员固定。只有因变量可以随样本自由变化。该回归模型称为固定线性回归模型

然而,在社会和行为科学中,自变量的值很少由研究人员固定,并且也会受到随机误差的影响。因此,有人提出了第二种应用回归模型,其中允许因变量和自变量变化(Binder,1959;Park & Dudycha,1974)。该模型称为随机模型(或校正模型)。尽管从随机模型和固定模型获得的回归系数的最大似然估计在正态假设下是相同的,但它们的分布却大不相同。随机模型非常复杂,需要更多的研究才能取代常用的固定线性回归模型被接受。因此,通常采用固定模型,即使假设没有完全满足(Claudy,1978)。违反假设的固定回归模型的这种应用会导致“过度拟合”,因为从不完美的样本数据引入的随机误差往往在过程中被资本化。因此,以这种方式获得的样本多重相关系数往往会高估真实的总体多重相关性(Claudy,1978;Cohen & Cohen,1983;Cummings,1982)。

所以我不清楚上面的声明是否说调整了R2补偿随机模型引入的误差,或者这是否只是论文中标记随机模型存在的警告,但论文将重点关注固定模型。

参考

  • 尹 P. 和范 X. (2001)。估计R2多元回归中的收缩:不同分析方法的比较。实验教育杂志,69(2),203-224。PDF格式
1个回答

Raju 等人 (1997) 注意到

Pedhazur (1982) 和 Mitchell & Klimoski (1986) 认为,
当 N 至少为中等大小(大约 50)时,结果相对不受所选模型 [fixed-x 或 random-x] 的影响。

尽管如此,Raju 等人 (1997) 将一些调整后的R2估计公式ρ2作为“固定 X 公式”和“随机 X 公式”。

固定 X 公式: 提到了几个公式,包括 Ezekiel (1930) 提出的公式,这是大多数统计软件的标准:

ρ^(E)2=1N1Np1(1R2)

因此,这个问题的简短答案是标准调整R2通常报告并内置于标准统计软件中的公式是对固定 x 的估计ρ2.

随机 X 公式:

Olkin 和 Pratt (1958) 提出了一个公式

ρ^(OP)2=1[N3Np1](1R2)F[1,1;Np+12;(1R2)]
其中 F 是超几何函数

Raju 等人 (1997) 解释了各种其他公式,例如 Pratt 和 Herzberg 的“是预期超几何函数的近似值”。例如,普拉特的公式是

ρ^(P)2=1(N3)(1R2)Np1[1+2(1R2)Np2.3]

估计有何不同? Leach 和 Hansen (2003) 的报告提供了一个很好的表格,显示了不同公式对不同已发表的心理学数据集样本的影响(见表 3)。平均的以西结Radj2与 Olkin 和 Pratt 相比是 0.2864Radj2.2917 和普拉特Radj20.2910。根据 Raju 等人关于固定和随机 x 公式与小样本量最相关的区别的初始引用,Leach 和 Hansen 的表格显示了 Ezekiel 的固定 x 公式与 Olkin 和 Pratt 的随机 x 公式之间的差异是如何最突出的在小样本中,尤其是那些小于 50 的样本。

参考

  • Leach, LF 和 Henson, RK (2003)。调整后的 R2 效应在已发表的回归研究中的使用和影响。在德克萨斯州圣安东尼奥市西南教育研究协会年会上。PDF格式
  • Mitchell, TW 和 Klimoski, RJ (1986)。估计交叉有效性估计的有效性。应用心理学杂志,71,311-317。
  • 佩达祖尔,EJ (1982)。行为研究中的多重回归(第 2 版)纽约:Holt、Rinehart 和 Winston。
  • Raju, NS, Bilgic, R., Edwards, JE, & Fleer, PF (1997)。方法审查:估计总体有效性和交叉有效性,以及在预测中使用相等的权重。应用心理测量,21(4),291-305。