对于具有一个预测变量的最小二乘:
如果和在拟合之前进行标准化(即), 然后:
- 与皮尔逊相关系数相同,.
- 在反射回归中是相同的:
对于广义最小二乘法 (GLS),是否同样适用?即如果我标准化我的数据,我可以直接从回归系数中获得相关系数吗?
通过对数据进行实验,反映的 GLS 导致不同的系数,而且我不确定我是否相信回归系数符合我的相关预期值。我知道人们引用 GLS 相关系数,所以我想知道它们是如何得出它们的,因此它们的真正含义是什么?
对于具有一个预测变量的最小二乘:
如果和在拟合之前进行标准化(即), 然后:
对于广义最小二乘法 (GLS),是否同样适用?即如果我标准化我的数据,我可以直接从回归系数中获得相关系数吗?
通过对数据进行实验,反映的 GLS 导致不同的系数,而且我不确定我是否相信回归系数符合我的相关预期值。我知道人们引用 GLS 相关系数,所以我想知道它们是如何得出它们的,因此它们的真正含义是什么?
答案是肯定的,线性回归系数是预测变量与响应的相关性,但前提是您使用正确的坐标系。
要明白我的意思,请回想一下,如果和居中和标准化,然后每个之间的相关性和只是点积. 此外,线性回归的最小二乘解是
如果发生这种情况(单位矩阵)然后
我们恢复相关向量。根据预测变量重新构建回归问题通常很有吸引力满足通过找到使这种关系成立的原始预测变量的适当线性组合(或等效地,坐标的线性变化);这些新的预测变量称为主成分。
所以总的来说,你的问题的答案是肯定的,但只有当预测变量本身不相关时。否则,表达式
表明 beta 必须与预测变量本身之间的相关性混合在一起,以恢复预测变量-响应相关性。
作为旁注,这也解释了为什么结果对于一个变量线性回归总是正确的。一旦预测向量是标准化的,那么:
在哪里是所有的截距向量。所以(两列)数据矩阵自动满足,结果如下。