您可能想查看PCA的维基百科文章，其中说：

“这$k$th 分量可以通过减去第一个$k − 1$主要成分来自$\mathbf{X}$:"

$$\hat{\mathbf{X}}_k = \mathbf{X} - \sum_{s=1}^{k-1}\mathbf{X}\mathbf{w}_s\mathbf{w}_s^T$$

然后重复该过程以找到下一个组件：

$$\mathbf{w}_k = \arg\max \mathbf{w}^T\mathbf{\hat{X}}^T_k\mathbf{\hat{X}}_k\mathbf{w}$$ $$\text{s.t. } \mathbf{w}_k^T\mathbf{w}_k = 1$$

您也可以从约束优化的角度来理解逻辑。引入拉格朗日函数：

$$\mathcal{L} = \text{Tr} (w^{T} X X^{T} w) - \lambda w^{T} w$$ 并取关于的导数$w$： $$\frac{\partial \mathcal{L}}{\partial w} = 2 (X X^{T} - \lambda) w$$ 对于维度的一般情况$\geqslant 1$ $w$是一组向量$w = (w_1 w_2 \ldots w_n)$. 这个表达式消失了，如果对于某个索引$i$ $w_i$是一个 的特征向量$XX^{T}$与特征值$\lambda_i$，并且所有其他组件都设置为零。换句话说，静止点是$X X^{T}$.

条件$w^T w = 1$对特征向量施加正交性条件。事实上，回到最初的功能，人们会看到，$w_i X X^{T} w_j = \lambda_j w_i^{T} w_j = 0$为了$i \neq j$. 因此，我们终于：

$$\mathcal{L} =\sum \lambda_i - \lambda$$ 对于任何$k \geq 1$，通过取$k$最大特征值。