广义特征值问题的通货紧缩

计算科学 优化 特征值
2021-12-09 21:53:53

我们知道主成分分析(PCA)是一个特征值问题。A是协方差矩阵X, PCA 旨在找到A

maxvAv, 以vv=1

通过deflation可以找到多台PC:

(或等价地 ) 其中是前个PC,然后可以通过求解的第一个PCX^=Xi=1kviviXA^=(Ii=1kvivi)A(Ii=1kvivi)vi,i=1,,kkk+11A^

我想知道是否有类似的通货紧缩方法可以找到广义特征值问题k

maxvAvvBv

其中是一些协方差矩阵:ABA=Cov(X),B=Cov(Y)

谢谢!

2个回答

要实现的是解决特征值问题 其中最大的特征值由 完全等价于求解正则特征值问题 你可以通过写 这意味着如果您知道如何对矩阵进行通货紧缩,那么您现在只需将其应用于矩阵

Ax=λBx,
λmax=maxxxTAxxTBx,
BT/2AB1/2x=λx.
λmax=maxxxTAxxTBx=maxxxTAx(B1/2x)T(B1/2x)=maxy=B1/2xyTBT/2AB1/2yyTy.
ABT/2AB1/2

本文讨论了稀疏 PCA 的六种紧缩方法

  • 霍特林通货紧缩和正交霍特林通货紧缩;
  • 投影通缩和正交投影通缩;
  • 舒尔补充通货紧缩;
  • 重构稀疏 PCA 问题。

我个人更喜欢正交投影通缩,它可以扩展到广义特征值问题。将问题视为 次迭代,获得向量其中这可以被认为是来自集合的加权Gram-Schmidt 过程的结果。然后矩阵更新为, 其中矩阵可以保持不变。它适用于非稀疏广义特征值问题。

minvvTAv,s.t.vTBv=1.
tqt(IQt1Qt1TB)vtqtTBqt=1Qt1=[q1:(t1)]{vt}A
At+1=(IBTqtqtT)At(IqtqtTB),
B

我使用本文中的算法进一步测试了稀疏广义特征值问题这里提到的过程仅保证 因此不幸的是,正交性必须以其他方式实现。(vt)TAsvt=0,t<sVTBVI