如何在数学上解释 PCA 的平移和旋转不变性

数据挖掘 主成分分析 数据科学模型
2022-03-02 01:26:01

我正在自学(不是学生)的课程有一个家庭作业问题,即:

让我们的n×d维数据向量表示为x1,,xn 然后让R做一个d×d旋转矩阵。为简单起见,您可以假设xt的中心在0.

xt=Rxt+v
在哪里v是一些固定的翻译。形成第二个数据集。现在,对于任何K我们挑选,让我们对两个数据集分别使用 PCA 来获得K维投影y1,,yny1,,yn, 分别。

写下两个 PCA 投影矩阵之间的关系WW就旋转矩阵而言R和翻译向量v. 从数学上解释你是如何得出这个答案的。

我的回答基本上是,对于未转换的数据集,我们有W是顶部k的特征向量S[μ](S[μ]是未转换数据集的协方差矩阵,以μ(μ0对于未转换的数据集))W将是顶部k矩阵的特征向量(RT)×S[RT(μv)]R. (RTR转置)。我通过在协方差矩阵的定义中应用变换来做到这一点S找到之间的关系SS.

该问题的目标是显示 PCA 的旋转和平移不变性。任何人都可以对此做出解释吗?

1个回答

e是长度的全一列向量n.

XRn×d为原矩阵。

X是变换后的矩阵,也就是说我们有X=XRT+evT.

让我们首先计算转换后的平均值,假设平均值为X0.

eTXn=eTXRn+eTevTn=vT

为了计算原始矩阵的奇异向量,理论上,我们可以计算

XTX=UDUT

我们可以提取WU.

计算转换后数据的 PCA

我们有

(XevT)T(XevT)=(XRT)T(XRT)=RTXTXRT=RUDUTRT

现在,我们可以提取WRU.

那是

W=RW.