PCA中的逆协方差矩阵与协方差矩阵

机器算法验证 机器学习 主成分分析 计算统计
2022-03-03 19:28:07

在 PCA 中,如果我们选择逆协方差矩阵的主成分,或者如果我们丢弃与大特征值相对应的协方差矩阵的特征向量,是否会有所不同?

这与本文中的讨论有关

2个回答

观察正定协方差矩阵Σ=UDU精度为Σ1=UD1U

所以特征向量保持不变,但精度的特征值是协方差特征值的倒数。这意味着协方差的最大特征值将是精度的最小特征值。正如你有逆,正定性保证所有特征值都大于零。

因此,如果您保留与精度的k个最小特征值相关的特征向量,则这对应于普通 PCA。由于我们已经取了倒数(D1),因此应该只使用精度特征值的平方根来完成转换数据的白化。

此外,逆协方差矩阵与向量之间的偏相关成正比:

Corr(Xi, Xj | (Xothers )

当所有其他都固定时,Xi 和 Xj 之间的相关性,这对于时间序列非常有用。