考虑一下 PCA 的作用。简而言之，PCA（最常见的运行方式）通过以下方式创建一个新的坐标系：

1. 将原点移动到数据的质心，
2. 挤压和/或拉伸轴以使它们的长度相等，并且
3. 将您的轴旋转到新的方向。

（有关更多详细信息，请参阅此出色的 CV 线程：理解主成分分析、特征向量和特征值。）但是，它不仅仅以任何旧方式旋转轴。你的新$X_1$（第一个主成分）面向数据的最大变化方向。第二个主成分朝向与第一个主成分正交的下一个最大变化量的方向。其余的主成分同样形成。

考虑到这一点，让我们检查@amoeba 的示例。这是一个在三维空间中有两个点的数据矩阵：

因此，让我们按照上面列出的步骤进行操作。(1) 新坐标系的原点将位于$(1.5, 1.5, 1.5)$. (2) 轴已经相等。(3) 第一个主成分将从$(0,0,0)$到$(3,3,3)$，这是这些数据变化最大的方向。现在，第二个主成分必须与第一个主成分正交，并且应该朝着剩余变化最大的方向前进。但那是什么方向？是不是从$(0,0,3)$到$(3,3,0)$，或从$(0,3,0)$到$(3,0,3)$， 或者是其他东西？ 没有剩余的变异，因此不能再有任何主成分。

和$N=2$数据，我们可以拟合（最多）$N-1 = 1$主要成分。

假设我们有一个矩阵$X=[x_1, x_2, \cdots, x_n]$, 其中每个$x_i$是来自的观察（样本）$d$维空间，所以$X$是一个$d$经过$n$矩阵，和$d > n$.

如果我们首先将数据集居中，我们有$\sum\limits_{i=1}^n x_i = 0$， 意思是：$x_1=-\sum\limits_{i=2}^n x_i$，所以列秩为$X \leq n-1$， 然后$rank(X)\leq n-1$.

我们知道$rank(XX^T)=rank(X)\leq n-1$， 所以$XX^T$最多有$n-1$非零特征值。