广义最小二乘:从回归系数到相关系数?

机器算法验证 回归 相关性 最小二乘 广义最小二乘法
2022-03-22 03:20:40

对于具有一个预测变量的最小二乘:

y=βx+ϵ

如果xy在拟合之前进行标准化(即N(0,1)), 然后:

  • β与皮尔逊相关系数相同,r.
  • β在反射回归中是相同的:x=βy+ϵ

对于广义最小二乘法 (GLS),是否同样适用?即如果我标准化我的数据,我可以直接从回归系数中获得相关系数吗?

通过对数据进行实验,反映的 GLS 导致不同的β系数,而且我不确定我是否相信回归系数符合我的相关预期值。我知道人们引用 GLS 相关系数,所以我想知道它们是如何得出它们的,因此它们的真正含义是什么?

1个回答

答案是肯定的,线性回归系数是预测变量与响应的相关性,但前提是您使用正确的坐标系

要明白我的意思,请回想一下,如果x1,x2,,xny居中和标准化,然后每个之间的相关性xiy只是点积xity. 此外,线性回归的最小二乘解是

β=(XtX)1Xty

如果发生这种情况XtX=I(单位矩阵)然后

β=Xty

我们恢复相关向量。根据预测变量重新构建回归问题通常很有吸引力x~i满足X~tX~=I通过找到使这种关系成立的原始预测变量的适当线性组合(或等效地,坐标的线性变化);这些新的预测变量称为主成分。

所以总的来说,你的问题的答案是肯定的,但只有当预测变量本身不相关时否则,表达式

XtXβ=Xty

表明 beta 必须与预测变量本身之间的相关性混合在一起,以恢复预测变量-响应相关性。

作为旁注,这也解释了为什么结果对于一个变量线性回归总是正确的。一旦预测向量x是标准化的,那么:

x0tx=ixi=0

在哪里x0是所有的截距向量。所以(两列)数据矩阵X自动满足XtX=I,结果如下。