PCA 解决方案是独一无二的吗?

机器算法验证 主成分分析
2022-01-29 11:51:20

当我在某个数据集上运行 PCA 时,给我的解决方案是独一无二的吗?

即,我根据点间距离获得一组二维坐标。是否有可能找到至少一种满足这些约束的点的排列方式?

如果答案是肯定的,我怎样才能找到这种不同的解决方案?

3个回答

尚未注意到的是,简单地反转 PC 的符号会产生不同的解决方案。也就是说,如果w是个n主成分,然后w也是一个解决方案n主成分。这在以前引起了混乱,尤其是当您的计算机输出交替的 PC 时。看到这个问题

不,答案不是唯一的。有很多方法可以证明这一点。一种可能性是注意到正方形的谱分解p经过p矩阵X凸函数最大化的解w. 考虑第一个特征向量/值:

λ1=maxwRp:||w||=1wXw

(在哪里λ1是第一个特征值和w第一个特征向量)。

此类问题的解决方案(例如w达到该最大值)通常不是唯一的。

然而,计算这些解决方案的算法是确定性的,这意味着除了数值极端情况外,您得到的解决方案应该是相同的。

此类数值极端情况的示例:几个特征值(在数值上)相同的情况,X排名不足...


这取决于。

如果协方差矩阵的特征值不同,则 PCA 是唯一的。否则没有。


主成分的方差由 λi 给出,这一事实对 PCA 的唯一性具有重要意义。如果两个特征值相等,则这些主成分的方差相等。然后,主成分不再明确定义,因为我们可以对这些主成分进行旋转而不影响它们的方差。这是因为如果 p zi 和 zi+1 具有相同的方差,那么线性组合例如 1/2zi + p 1/2zi+1 和 p 1/2zi - p 1/2zi+1 也具有相同的方差;仍然满足所有约束(单位方差和正交性),因此这些是同样有效的主成分。事实上,在线性代数中,众所周知,只有当特征值都不同时,特征值分解才是唯一定义的。

资料来源:主成分分析;阿波·海瓦里宁;基于《自然图像统计》一书的材料,2009;https://www.mv.helsinki.fi/home/amoaning/movies/uml/pca_handout.pdf

或者

如果协方差矩阵的特征值彼此不同,则 PCA 在符号上是唯一的。

PCA 是否唯一,即是否只有一种 PCA 解决方案。多种解决方案可能满足 PCA 标准。我们考虑分解 X = Y UT 其中 U 是正交的,YTY = Dm 以 Dm 为 m 维对角矩阵,并且 Dm 的特征值是递增排序的。

资料来源:机器学习:无监督技术;2014; 塞普·霍克瑞特;林茨约翰内斯开普勒大学生物信息学研究所