具有线性内核的内核 PCA 是否等同于标准 PCA?
机器算法验证
主成分分析
内核技巧
2022-02-09 05:12:31
3个回答
总结:带有线性核的核主成分分析与标准主成分分析完全等价。
让是中心的数据矩阵大小与列中的变量和行中的数据点。然后协方差矩阵由下式给出,其特征向量是主轴,特征值是 PC 方差。同时,可以考虑所谓的格拉姆矩阵的尺寸。很容易看出它具有相同的特征值(即 PC 方差),直到因子,其特征向量是按单位范数缩放的主成分。
这是标准的 PCA。现在,在内核 PCA 中,我们考虑一些函数将每个数据点映射到另一个通常具有更大维度的向量空间,甚至可能是无限的。内核 PCA 的想法是在这个新空间中执行标准 PCA。
由于这个新空间的维度非常大(或无限),因此很难或不可能计算协方差矩阵。但是,我们可以将第二种方法应用于上述 PCA。确实,Gram 矩阵仍将具有相同的可管理性尺寸。该矩阵的元素由下式给出,我们称之为核函数. 这就是所谓的内核技巧:实际上不需要计算, 但只有. 这个 Gram 矩阵的特征向量将是目标空间中的主成分,也就是我们感兴趣的那些。
您的问题的答案现在变得显而易见。如果,则核格拉姆矩阵简化为等于标准的 Gram 矩阵,因此主成分不会改变。
一个非常易读的参考资料是Scholkopf B, Smola A, and Müller KR, Kernel principal component analysis, 1999,请注意,例如在图 1 中,他们明确地将标准 PCA 称为使用点积作为核函数的标准 PCA:
除了变形虫的好答案之外,还有一种更简单的方法来查看等效性。再让是的数据矩阵大小与列中的变量和行中的数据点。标准 PCA 对应于对矩阵进行奇异值分解和的主要成分. 线性核的奇异值分解具有相同的左奇异向量,因此具有相同的主成分。
其它你可能感兴趣的问题