机器算法验证 - 使用协方差矩阵的 SVD 清楚地描述 PCA - 吾爱随笔录 - 问答

使用协方差矩阵的 SVD 清楚地描述 PCA

机器算法验证主成分分析降维 svd

2022-03-31 14:39:24

在阅读了数千篇关于 PCA 和 SVD 的文章，在许多编程框架中使用它们，甚至实现了类似的技术（如随机索引）之后，我发现我仍然对 PCA 的某些部分进行降维存有疑问。所以让我展示一下我所知道的和我怀疑的。

假设我们次观察，组织为矩阵。要执行 PCA，我们应该首先计算协方差矩阵的 MLE 估计： $N$ $M$ $A \in R^{N * M}$ $\Sigma \in R^{M*M}$

Σ = \frac{1}{N} \sum_{i = 1}^{N} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\Sigma=\frac{1}{N}\sum_{i=1}^N(x_i - \bar x)(x_i - \bar x)^T$

其中是个观测值，是平均观测值。 $x_i \in R^M$ $i$ $\bar x = \frac{1}{N}\sum_{k=1}^{N}x_k \in R^M$

然后我们可以使用 SVD 分解如下： $\Sigma$

Σ = U S V^{T}

$\Sigma = USV^T$

现在这里有几件事我不确定：

，和的尺寸是多少？ $U$ $S$ $V^T$
在中，究竟什么被认为是特征值，我应该将它们中的哪一个用作主成分？ $USV^T$
如何将原始观察投影到新的缩减空间上，反之亦然？ $x_i$

UPD。使用 SVD 计算 PCA 有另一种方法 - 通过分解数据矩阵（）而不是协方差矩阵（）。可以在此答案中找到有关此过程的良好描述。 $A$ $\Sigma = AA^T$

1个回答

什么是尺寸 $U$ , $S$ 和 $V^T$ ?

自从 $\Sigma$ 是一个 M×M 矩阵，三个矩阵 $U$ , $S$ , $V^T$ 将是所有 M 乘 M 矩阵。因为在 N × M 矩阵上应用 SVD，你会得到 $U_{N{\times}N}$ , $S_{N{\times}M}$ ，和 $V^T_{M{\times}M}$ . 你可以在matlab中验证。当您截断奇异值时 $S$ 您还应该删除相应的部分 $U$ 和 $V^T$ .

在 $USV^T$ 究竟什么被认为是特征值，我应该将它们中的哪些用作主成分？

PCA 应该通过对协方差矩阵进行特征值分解来完成 $\Sigma$ , 或通过应用 SVD 来完成 $A$ . 的左奇异向量 $SVD(A)$ 来自特征向量 $AA^T$ ，以及的右奇异向量 $SVD(A)$ 来自的特征向量 $A^TA$ . 但是你需要根据特征值从大到小对它们进行排序，并使它们正交化。 $A^TA$ 称为 Gram Matrix，与协方差矩阵有关 $\Sigma$ . 如果维度向量在 $A$ （总共 M 个）都已居中，Gram 矩阵 = N * 协方差矩阵。查看 Wikipedia 和一些 SVD 和 PCA 的教程。

我如何投射原始观察结果 $x_i$ 到新的缩小空间，反之亦然？

如果应用 SVD $A$ 对于 PCA，它将是 $u_i*S$ ; 如果对协方差矩阵应用特征分解 $\Sigma$ ，和 $V$ 是的特征向量 $\Sigma$ ，这是 $x_i*V$ .

其它你可能感兴趣的问题

上一篇为什么模型的对数似然函数使用 SSE/n 而不是 SSE/df？下一篇如何计算多重比较实验的功效（或样本量）？