机器算法验证 - “因子分析的基本定理”如何应用于 PCA，或者如何定义 PCA 载荷？ - 吾爱随笔录

机器算法验证主成分分析因子分析术语定义

2022-02-08 03:26:34

我目前正在浏览用于“因子分析”的幻灯片集（据我所知，PCA）。

其中，导出了“因子分析基本定理”，该定理声称进入分析的数据的相关矩阵（ $\bf R$ ) 可以使用因子载荷矩阵 ( $\bf A$ ):

R = A A^{⊤}

$\bf R = AA^\top$

然而，这让我感到困惑。在 PCA 中，“因子载荷”矩阵由数据的协方差/相关矩阵的特征向量矩阵给出（因为我们假设数据已经标准化，所以它们是相同的），每个特征向量缩放为长度一。这个矩阵是正交的，因此 $\bf AA^\top = I$ 这通常不等于 $\bf R$ .

1个回答

这是一个合理的问题（+1），源于术语的歧义和混乱。

在 PCA 的上下文中，人们经常将主轴（协方差/相关矩阵的特征向量）称为“载荷”。这是草率的术语。在 PCA 中更应该称为“载荷”的是由各自特征值的平方根缩放的主轴。那么你所指的定理将成立。

事实上，如果相关矩阵的特征分解是

R = V S V^{⊤}

$\mathbf R = \mathbf V \mathbf S \mathbf V^\top$ 在哪里

V

$\mathbf V$ 是特征向量（主轴）和

S

$\mathbf S$ 是特征值的对角矩阵，如果我们将载荷定义为

A = V S^{1 / 2},

$\mathbf A = \mathbf V \mathbf S^{1/2},$ 然后可以很容易地看到

R = A A^{⊤} .

$\mathbf R = \mathbf A \mathbf A^\top.$ 此外，最好的排名——

r

$r$ 相关矩阵的近似值由第一个给出

r

$r$ PCA 负载：

R \approx A_{r} A_{r}^{⊤} .

$\mathbf R \approx \mathbf A_r \mathbf A_r^\top.$

有关使用因子分析和 PCA 负载重建协方差矩阵的更多信息，请在此处查看我的答案。

其它你可能感兴趣的问题