给定一个协方差矩阵，第一主成分是使方差最大化的单位向量. 是否存在与第一个类似的表达方式主成分一起优化？换句话说，当我们贪婪地取出这些主成分时，我们最大化/最小化什么？
一个想法是第一个主成分定义了一个子空间，它使投影向量的范数和最大化。当我们在计算第一主成分时最大化方差时确实如此。但是，我不确定这种直觉或其他东西是否普遍适用。
在 PCA 中，第一个以外的主成分是否优化了任何表达式？
机器算法验证
主成分分析
优化
2022-03-23 12:28:00
1个回答
前个主成分使平方重构误差最小化。也就是说，我们将数据投影到前个主成分上，然后回到原始空间以获得数据的“重构”。前个主成分是最小化每个点与其重建之间的平方距离之和的向量（下面的论文在许多其他来源中提到了这一点）。
在所有个向量集合中，第一个主成分不会最大化投影到每个向量上的数据的方差之和。例如，在许多情况下，我们可以通过使所有向量指向靠近第一个主成分的方向来增加方差。但是，如果我们将向量约束为正交（如 PCA 所做的那样），那么第一个主成分确实具有此属性（例如，请参见此处）。
另一种解释是，前个主成分使特定高斯潜变量模型的似然性最大化。请参阅以下论文：
小费和主教 (1999)。概率主成分分析。
其它你可能感兴趣的问题