如何解释 PCA 载荷?

机器算法验证 主成分分析
2022-02-09 04:58:55

在阅读有关 PCA 的信息时,我遇到了以下解释:

假设我们有一个数据集,其中每个数据点代表一个学生在数学测试、物理测试、阅读理解测试和词汇测试中的分数。

我们找到了前两个主要成分,它们捕获了数据中 90% 的可变性,并解释了它们的负载。我们得出结论,第一个主要成分代表整体学术能力,第二个主要成分代表定量能力和语言能力之间的对比。

文本指出 PC1 和 PC2 载荷是(0.5,0.5,0.5,0.5)对于 PC1 和(0.5,0.5,0.5,0.5)对于 PC2,并提供以下解释:

[T]第一个分量与平均分数成正比,第二个分量测量第一对分数和第二对分数之间的差异。

我无法理解这个解释是什么意思。

2个回答

载荷(不应与特征向量混淆)具有以下属性:

  1. 它们在每个分量内的平方和是特征值(分量的方差)。
  2. 载荷是线性组合的系数,通过(标准化)分量预测变量。

您从 4 台 PC 中提取了 2 台第一台 PC。 负载矩阵A和特征值:

A (loadings)
         PC1           PC2
X1   .5000000000   .5000000000 
X2   .5000000000   .5000000000 
X3   .5000000000  -.5000000000 
X4   .5000000000  -.5000000000
Eigenvalues:
    1.0000000000  1.0000000000

在这种情况下,两个特征值相等。这是现实世界中罕见的情况,它说PC1和PC2具有相同的解释“强度”。

假设您还计算了组件值,Nx2矩阵C,并且您在每列中对它们进行 z 标准化(平均值 = 0,标准开发 = 1)。然后(如上面第 2 点所说),X^=CA. 但是,因为您在 4 台 PC 中只剩下 2 台(您在A) 恢复的数据值X^不准确, - 存在错误(如果特征值 3、4 不为零)。

好的。通过变量预测组件的系数是多少?显然,如果A满了4x4,这些是B=(A1). 对于非方形加载矩阵,我们可以将它们计算为B=Adiag(eigenvalues)1=(A+),其中diag(eigenvalues)是对角线方阵,特征值在其对角线上,+上标表示伪逆矩阵。在你的情况下:

diag(eigenvalues):
1 0
0 1

B (coefficients to predict components by original variables):
    PC1           PC2
X1 .5000000000   .5000000000 
X2 .5000000000   .5000000000 
X3 .5000000000  -.5000000000 
X4 .5000000000  -.5000000000

因此,如果XNx4原始中心变量(或标准化变量,如果您基于相关性而不是协方差进行 PCA)的矩阵,则C=XB;C是标准化的主成分分数。在您的示例中是:

PC1 = 0.5*X1 + 0.5*X2 + 0.5*X3 + 0.5*X4 ~ (X1+X2+X3+X4)/4

“第一部分与平均分成正比”

PC2 = 0.5*X1 + 0.5*X2 - 0.5*X3 - 0.5*X4 = (0.5*X1 + 0.5*X2) - (0.5*X3 + 0.5*X4)

“第二部分测量第一对分数和第二对分数之间的差异”

在这个例子中,看起来B=A,但在一般情况下它们是不同的。


注意:上述系数计算组件分数的公式,B=Adiag(eigenvalues)1, 等价于B=R1A, 和R是变量的协方差(或相关)矩阵。后一个公式直接来自线性回归理论。这两个公式仅在 PCA 上下文中是等效的。在因子分析中,它们不是,并且计算因子分数(在 FA 中总是近似的)应该依赖于第二个公式。


我的相关回答:

有关 loading 与 eigenvectors 的更详细信息

如何计算主成分分数和因子分数

尽管自上次发表评论以来已经过去了好几年,但我认为原始问题的答案应该是对如何阅读“载荷矩阵”进行更定性的解释(无论我们用来构建它的假设如何)。如果垂直“权重”都相同(如在原始情况下 PC1 全部为 0.5),则意味着对于 PC1,所有变量都具有相同的权重(0.5)。如果所有变量具有相同的权重,则意味着“分数”(在 PC 矩阵中,它是沿特征向量投影的原始数据矩阵的矩阵)与原始数据矩阵中分数的平均值成正比。所以 PC1 告诉我根据其 PC 平均分数来评估普通学生(在这种情况下,这与原始平均分数相差 2 倍)

关于第二个问题,在数学上确实是两对分数之间的差异,但是 PC2 的分析告诉我们学生在哪里好或坏(由 PC1 定义):所以我们可以说x1 和 x2 一起移动,并且 x1(和 x2)与其分数的平均值相差甚远,x3(和 x4)在相反方向上与分数的平均值相差相同的量 => 更多一个学生在数学和物理方面表现出色,其阅读/词汇量的分数下降了相同的数量。

因此,总而言之,通过阅读负载矩阵,我们可以制定可以通过查看“PC 矩阵”和“分数”来验证的假设:如果您对普通学生的行进行平均,您可以通过以下方式说出他的好坏程度只看价值(不要忘记我们认为高/低意味着好/坏),如果您然后选择 x1(或 x2),您可以预期它们是相似的(都高或都低),您可以说如果该学生在该科目上是好是坏,因此您可以预期他在 x3(或 x4)中的好坏。