机器算法验证 - 如果我们对数据多次（递归）应用 PCA，主成分会改变吗？ - 吾爱随笔录

机器算法验证主成分分析数据转换 svd 特征值投影

2022-04-02 00:49:20

考虑一个集合 $X=(X_1; \dots; X_n)$ 的 $n$ 数据点使得 $X_i \in \mathbb{R}^d$ 是一个列向量。让 $Y = \text{pca_proj}(X)$ 表示点在 $X$ 根据 PCA 组件，即

Y_{i} \in R^{d} Y_{i} = W X_{i}

$Y_i \in \mathbb{R}^d\\ Y_i = W X_i$ 在哪里

W \in R^{d \times d}

$W \in \mathbb{R}^{d \times d}$ 是从 PCA 得到的投影矩阵，每一行

W

$W$ 是一个特征向量

X^{T} X

$X^T X$ .

现在让我们定义 $Z = \text{pca_proj}(Y)$ . 我的问题是：是否 $Y = Z$ ? 如果不是，如果我们继续在矩阵上递归应用 PCA 会发生什么？它会收敛到特定的矩阵吗？

1个回答

PCA 的核心涉及对矩阵进行对角化，这意味着求解所述矩阵的特征值和特征向量。计算的全部目的是找到矩阵的对角线表示（即仅沿矩阵对角线的元素）。如果再次求解，您会发现您正在尝试计算对角矩阵的特征值，这会产生完全相同的对角矩阵。因此，无论您应用转换多少次，您的 PC 向量都是相同的。

其它你可能感兴趣的问题