在代数上，两个变量的相关矩阵如下所示：

$$\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}.$$ 根据特征向量的定义，很容易验证$(1, 1)$和$(-1, 1)$是特征向量，与$\rho$, 带有特征值$1+\rho$和$1-\rho$. 例如：

$$\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}\begin{pmatrix}1\\1\end{pmatrix}=(\rho+1)\begin{pmatrix}1\\1\end{pmatrix}.$$

将这两个特征向量归一化为单位长度产生$(\sqrt{2}/2, \sqrt{2}/2)$和$(-\sqrt{2}/2, \sqrt{2}/2)$，正如你所观察到的。

在几何上，如果变量是标准化的，那么散点图将始终沿主对角线（将是第一个 PC）拉伸，如果$\rho>0$，无论是什么值$\rho$是：

关于 TLS，您可能想在此线程中查看我的答案：如何通过 PCA 执行正交回归（总最小二乘）？从上图中应该很明显，如果您的$x$和$y$是标准化的，则 TLS 线始终是对角线。所以执行 TLS 几乎没有意义！但是，如果变量没有标准化，那么您应该在它们的协方差矩阵（而不是它们的相关矩阵）上进行 PCA，并且回归线可以有任何斜率。

---

有关三个维度的情况的讨论，请参见此处：https ://stats.stackexchange.com/a/19317 。

因为你的第一个特征向量是$(\sqrt{2}, \sqrt{2})$，另一个特征向量是唯一的（我们是二维的）直到因子$1$/$-1$向量$(\sqrt{2} -\sqrt{2})$. 所以你得到你的对角正交矩阵

$$\sqrt{2}\left[ \begin{array}{cc} 1 & 1 \\ 1 & -1 \end{array} \right]$$

不，我们可以重建协方差*矩阵以具有形状

$$\left[ \begin{array}{cc} a+b & a-b \\ a-b & a+b \end{array} \right]$$ $a$和$b$是特征值。我建议仔细查看您的模型或数据的来源。然后您可能会找到您的数据可能被分发为的原因$X_1=X_a + X_b$和$X_2 = X_a - X_b$， 在哪里$Var(X_a)=a$和$Var(X_b)=b$和$X_a$和$X_b$是独立的。

如果您的数据遵循连续的多元分布，则几乎可以肯定您的相关矩阵遵循这种和/差关系。如果数据服从离散分布，那么模型仍然很可能$X_1=X_a + X_b$和$X_2 = X_a - X_b$正确描述您的数据。在这种情况下，您不需要 PCA。

但通常最好通过对数据性质的确切洞察来推断这种关系，而不是通过像 PCA 这样的估计程序。

*说相关矩阵，如果$a+b=1$.