机器算法验证 - 将 PCA 反转回原始变量 - 吾爱随笔录

将 PCA 反转回原始变量

机器算法验证主成分分析

2022-01-25 09:56:48

我有一组数据，其中包含个变量描述的我做了一个 PCA 来将它减少到只有 2 个维度，这样我就可以制作一个漂亮的 2D 数据图。我知道绘图的坐标（即 PCA 分数）基本上是通过将原始数据的乘积（居中后）与每个变量的负载相加来计算的，因此： $n$ $m$ $x,y$

{P C}_{1} = X_{1} L_{1} + X_{2} L_{2} + . . . + X_{m} L_{m} .

$\mathrm{PC}_1 = X_1L_1 + X_2L_2 + ... + X_mL_m.$

我的问题是，如果我选择 PCA 空间中的任意点（即和的值，或和），是否有一种方便的方法来翻译它回到一组原始值（即）？ $\mathrm{PC}_1$ $\mathrm{PC}_2$ $x$ $y$ $X_1,X_2,\dots,X_m$

注意 100% 的反转显然不是预期的（因为我只使用 2 台 PC），所以一个不错的近似值是可以的。

2个回答

是的。基本上，您所做的是：其中是主成分，是您的数据矩阵（居中，数据点在列中）和是具有载荷的矩阵（具有的样本协方差矩阵的特征向量的矩阵）。因此，你可以这样做：但是，因为载荷矩阵是正交的（它们是特征向量！），那么，所以：

P C = V X,

$\mathrm{PC}=\mathbf{V}X,$

P C

$\mathrm{PC}$

X

$X$

V

$\mathbf{V}$

X

$X$

V^{- 1} \cdot P C = X,

$\mathbf{V}^{-1}\cdot\mathrm{PC}=X,$

V^{- 1} = V^{T}

$\mathbf{V}^{-1}=\mathbf{V}^{T}$

V^{T} \cdot P C = X .

$\mathbf{V}^T\cdot\mathrm{PC}=X.$ 请注意，这为您提供了完全相同的等式，用于恢复 PC，但现在用于数据，您可以保留任意数量的 PC。

我对上面的答案有疑问。由于降维后，我们只知道2个主成分，其余的主成分都被舍弃了。投影矩阵V不是方阵（不是完全正交的，是半正交矩阵）。假设 n 是样本数，m 是变量数。 $X$ 是一个 $m$ -经过- $n$ 矩阵， $V$ 是一个 2×m 矩阵（其行是协方差矩阵的前 2 个特征向量 $X$ )，PC 是一个 2×n 矩阵。然后我们有 PC = VX。然后 $VV^T$ 是一个单位矩阵，但是 $V^TV$ 不是。因此 $V^TPC=V^TVX$ 不能给我们确切的原始矩阵 $X$ ，自从 $V^TV$ 不是单位矩阵。

其它你可能感兴趣的问题

上一篇向不平衡数据的逻辑回归添加权重下一篇将标准误差转换为标准差？