机器算法验证 - MDS 和 PCA 特征值和特征向量 - 吾爱随笔录

MDS 和 PCA 特征值和特征向量

机器算法验证主成分分析多维尺度

2022-03-17 02:07:45

我知道如果使用欧几里德距离，多维缩放 (MDS) 与进行主成分分析 (PCA) 相同，这称为度量 MDS。但我在一本书中遇到了这一点，“已经证明（Chatfield 和 Collins 1980）（非归一化外积矩阵）的特征值等于特征值（非归一化内积矩阵）和特征向量和通过线性变换相关联。" $XX^T$ $X^TX$ $XX^T$ $X^TX$

请注意，X 表示一个数据矩阵，具有特征（行）和个实例（列）。 $n$ $m$

现在我无法在任何地方得到这本 Chattield 和 Collins 的书，而且我可以理解特征值是相等的。但是 PCA 和度量 MDS 的特征向量是如何相互关联的呢？

1个回答

我发现在假设是一个实矩阵的情况下考虑此类问题的奇异值分解很有帮助。写作，我们可以看到和。正如我们所见，和的特征值都包含在对角矩阵中，并且确实相等。此外，我们看到的特征向量矩阵是，而的特征向量矩阵是。 $X$ $X = UDV^T$ $XX^T = UD^2U^T$ $X^TX = VD^2V^T$ $XX^T$ $X^TX$ $D^2$ $XX^T$ $U$ $X^TX$ $V$

因为我们有关系 ，类似于whuber指出的。

X^{T} U = V D U^{T} U = V D,

$X^TU = VDU^TU = VD,$

X^{T} U = V D

$X^TU = VD$

假设是非奇异的，另外两个被证明非常有用的属性是： $D$

\begin{aligned} U & = X V D^{- 1} \\ V & = X^{T} U D^{- 1} . \end{aligned}

$\begin{align} U &= XVD^{-1}\\ V &= X^TUD^{-1}. \end{align}$

其它你可能感兴趣的问题

上一篇回归中逐步变量选择的危险下一篇不同标准测量误差的公式背后的原因是什么？