多元回归中的半偏相关和回归系数之间有区别吗?

机器算法验证 多重回归
2022-04-18 16:40:10

我正在准备一个关于多元回归的演示文稿。我的大多数资料似乎等于多元回归中的非标准化系数与该 IV 与 DV 的半偏相关。但是一本书说有一点不同:

两项具有相同的枚举数,但分母不同:半偏相关系数在分母中有一个平方根 (sqr(1-r²),但回归系数 ß 没有 (1-r²)。作者指出预测变量的相关性越高,这两个值的差异就越大。

我在其他任何地方都找不到这些信息。这是事实还是我应该怎么想?

2个回答

虽然彻底且最终正确,但@ttnphns 对该问题的评论有点误导,因为它侧重于标准化回归系数和偏相关之间的相似性,而更明显的比较将是标准化回归系数和更密切相关的偏相关[但请参阅@ttnphns 对我的帖子的深思熟虑的回答,澄清他关于偏相关的观点]。

实际上,唯一的区别是半部分取分母的平方根。结果是半部分在 -1 和 +1 之间有界,而 Beta 不是。

除了代数相似性之外,半偏相关在概念上也最接近回归系数。在回归分析中,我们尝试测量预测变量的独特解释能力,即 Y 的方差中可以由 X1 解释的独特部分,控制其他 X 变量。也就是说,我们在其他预测变量上对每个 X 进行残差以获得其独特的效果,但我们不会像偏相关那样对 Y 进行残差。

有关此主题的出色 Powerpoint 演示文稿,请参阅南佛罗里达大学的 Michael Brannick 的这些幻灯片

在他们的回答中,@Soporiferous 正确地谈到了半偏相关和标准化 beta 系数之间的关系并匆忙将我对这个问题的旧评论(关于 beta 和相关之间的关系早日存在)标记为“有点误导”。但在我的评论中,我暗示了另一个回归(另一个因变量)的 Beta,而不是 @Soporiferous 似乎暗示的。

让我们有 3 个变量 X、Y、Z。

X 和 Y 之间的偏相关(Z 从两者中偏出)是

rxy.z=rxyrxzryz(1rxz2)(1ryz2) .

而 X 和 Y 之间的半部分或部分相关性(Z 从 Y 中分出)是

rx(y.z)=rxyrxzryz1ryz2

@Soporiferous 正确地注意到(通过链接到外部源)最后一个公式与 beta 回归系数的公式非常相似:

β=rxyrxzryz1ryz2,唯一的区别是分母取根。

真实的观察;但是请注意,这个 beta 在回归中是,其中 X是依赖变量,而 Y 和 Z 是预测变量。半部分平方等于 R 平方的上升,以响应将 Y 包含到仅由 Z 组成的模型。βyrx(y.z)

因此,半部分在结构上类似于, - 而不是(回归其中 Y是依赖项,“默认情况下”可能首先想到的想法)。βyβx

但部分其中 X 是依赖项)和(其中 Y 是依赖项)有关:rxy.z βyβx

βx=rxyrxzryz1rxz2

说(在我对问题的评论和我刚才链接的答案中)regression coefficient beta is directly related to partial correlation我的意思是回归,其中 X 是回归量并且考虑的部分相关性也在回归量 X 和依赖 Y 之间。问题的标题导致对它的这种解释。