几个维度的方差（“总方差”）理解为每个维度的方差之和。在数学上，它是协方差矩阵的迹：迹只是所有对角元素的总和。这个定义有很多很好的属性，例如轨迹在正交线性变换下是不变的，这意味着如果你旋转你的坐标轴，总方差保持不变。

Bishop 的书（第 12.1.1 节）证明了协方差矩阵的前导特征向量给出了最大方差的方向。第二个特征向量在一个额外的约束下给出了最大方差的方向，它应该与第一个特征向量正交，等等。（我相信这构成了练习 12.1）。如果目标是最大化 2D 子空间中的总方差，那么这个过程是一个贪心最大化：首先选择一个使方差最大化的轴，然后选择另一个。

您的问题是：为什么这个贪婪过程会获得全局最大值？

这是@whuber 在评论中建议的一个很好的论点。让我们首先将坐标系与 PCA 轴对齐。协方差矩阵变为对角线：$\boldsymbol{\Sigma} = \mathrm{diag}(\lambda_i)$. 为简单起见，我们将考虑相同的二维情况，即具有最大总方差的平面是什么？我们要证明它是前两个基向量给出的平面（总方差$\lambda_1+\lambda_2$）。

考虑一个由两个正交向量跨越的平面$\mathbf{u}$和$\mathbf{v}$. 该平面的总方差为

$$\mathbf{u}^\top\boldsymbol{\Sigma}\mathbf{u} + \mathbf{v}^\top\boldsymbol{\Sigma}\mathbf{v} = \sum \lambda_i u_i^2 + \sum \lambda_i v_i^2 = \sum \lambda_i (u_i^2+v_i^2).$$ 所以它是特征值的线性组合$\lambda_i$系数都是正的，不超过$1$（见下文），总和为$2$. 如果是这样，那么几乎很明显达到最大值$\lambda_1 + \lambda_2$.

只剩下表明系数不能超过$1$. 请注意$u_k^2+v_k^2 = (\mathbf{u}\cdot\mathbf{k})^2+(\mathbf{v}\cdot\mathbf{k})^2$， 在哪里$\mathbf{k}$是个$k$-th 基向量。这个量是投影的平方长度$\mathbf k$到跨越的平面上$\mathbf u$和$\mathbf v$. 因此它必须小于平方长度$\mathbf k$这等于$|\mathbf{k}|^2=1$，QED。

另请参阅@cardinal 对 PCA 的目标函数是什么的回答？（它遵循相同的逻辑）。

如果你有$N$不相关的随机变量按方差降序排序，并被要求选择$k$它们中的总和的方差最大化，您是否同意选择第一个的贪婪方法$k$会做到这一点吗？

投影到其协方差矩阵的特征向量上的数据本质上是$N$不相关的数据列，其方差等于各自的特征值。

为了使直觉更清晰，我们需要将方差最大化与计算具有最大特征值的协方差矩阵的特征向量联系起来，并将正交投影与消除相关性联系起来。

第二个关系对我来说很清楚，因为两个（零均值）向量之间的相关系数与它们的内积成正比。

方差最大化与协方差矩阵的特征分解之间的关系如下。

假使，假设$D$是列居中后的数据矩阵。我们需要找到最大方差的方向。对于任何单位向量$v$, 投影后的方差$v$是

$E[(Dv)^t Dv] = v^t E[D^tD] v = v^t Cov(D) v$

如果$v$是的特征向量$Cov(D)$对应最大的特征值。