关于 PCA 后斜向旋转的使用

机器算法验证 主成分分析 因子分析 因子轮换
2022-03-03 09:44:44

一些统计软件包,如 SAS、SPSS 和 R,允许您在 PCA 之后执行某种因子旋转。

  1. 为什么在 PCA 之后需要轮换?
  2. 鉴于 PCA 的目的是产生正交尺寸,为什么要在 PCA 之后应用倾斜旋转?
3个回答

我认为关于 PCA 有不同的意见或观点,但基本上我们经常将其视为一种缩减技术(你将你的特征空间缩小到一个更小的空间,通常更“可读”,只要你注意正确居中/标准化需要时提供数据)或构建潜在因素的方法或占个体间差异很大一部分的维度(这里,“个体”代表收集数据的统计单位;可能是国家、人等)。在这两种情况下,我们构建了原始变量的线性组合,这些组合解释了方差的最大值(当投影在主轴上时),受到任何两个主成分之间正交性的约束。现在,所描述的是纯粹的代数或数学,我们不认为它是一个(生成)模型,这与因子分析传统中所做的相反,我们包含一个误差项来解释某种测量误差. 我也喜欢 William Revelle 在他即将出版的使用 R 的应用心理测量手册中的介绍(第6章),如果我们要分析一个相关矩阵的结构,那么

第一个[方法,PCA]是一个模型,它根据分量的乘积来近似相关矩阵,其中每个分量是变量的加权线性和,第二个模型[因子分析]也是相关矩阵的近似值两个因素的乘积,但其中的因素被视为原因而不是变量的结果。

换句话说,使用 PCA,您将每个组件(因子)表示为变量的线性组合,而在 FA 中,这些变量表示为因子的线性组合。众所周知,这两种方法通常会产生非常相似的结果(参见例如 Harman,1976 或 Catell,1978),特别是在我们有大量个体和良好比率因子的“理想”情况下:变量(通常变化2 到 10 之间,具体取决于您考虑的作者!)。这是因为,通过估计相关矩阵中的对角线(就像在 FA 中所做的那样,并且这些元素被称为公共性),误差方差可以从因子矩阵中消除。这就是为什么 PCA 经常被用作揭示潜在因素或心理结构的方法来代替上个世纪开发的 FA。但是,当我们继续这样做时,我们经常希望对结果因子结构(或所谓的模式矩阵)进行更简单的解释。然后是旋转阶乘轴的有用技巧,以便我们最大化特定因子上的变量负载,或者等效地达到“简单结构”。使用正交旋转(例如VARIMAX),我们保留了因子的独立性。通过倾斜旋转(例如 OBLIMIN、PROMAX),我们将其打破,并允许因子相关。这在文献中引起了很大的争论,并导致了一些作者(不是心理测量学家,而是 1960 年初的统计学家)

但关键是旋转方法最初是在 FA 方法的背景下开发的,现在通常与 PCA 一起使用。我不认为这与主成分的算法计算相矛盾:你可以按照你想要的方式旋转你的阶乘轴,只要你记住一旦相关(通过倾斜旋转),阶乘空间的解释就变得不那么明显了。

在开发新问卷时经常使用 PCA,尽管在这种情况下 FA 可能是更好的方法,因为我们正在尝试提取考虑到测量误差的有意义的因素,并且可以自行研究其关系(例如,通过分解结果模式)矩阵,我们得到一个二阶因子模型)。但 PCA 也用于检查已验证的阶乘结构。研究人员对 FA 与 PCA 的关系并不在意,比如 500 名有代表性的受试者被要求对涉及五个维度的 60 项问卷进行评分(NEO-FFI就是这种情况),例如),我认为他们是对的,因为在这种情况下,我们对识别生成模型或概念模型不太感兴趣(此处使用“代表性”一词来缓解测量不变性的问题)。

现在,关于旋转方法的选择以及为什么有些作者反对严格使用正交旋转,我想引用 Paul Kline 的话,正如我在回答以下问题时所做的那样,FA:选择旋转矩阵,基于“简单结构”标准”

(...) 在现实世界中,认为作为行为的重要决定因素的因素会相互关联并不是不合理的。——P. Kline, 情报。心理测量学观点,1991,p。19

因此,我会得出结论,根据您的研究目标(您是否想突出相关矩阵的主要模式,或者您是否寻求对可能导致您观察此类相关矩阵的潜在机制提供合理的解释),您可以选择最合适的方法:这与线性组合的构造无关,而仅与您想要解释生成的阶乘空间的方式有关。

参考

  1. 哈曼,HH (1976)。现代因素分析芝加哥,芝加哥大学出版社。
  2. 卡特尔,RB (1978)。因子分析的科学应用纽约,全会。
  3. 克莱恩,P. (1991)。智力。心理测量学观点劳特利奇。

正交维度的问题是组件可能无法解释。因此,虽然倾斜旋转(即非正交维度)在技术上不太令人满意,但这种旋转有时会增强结果组件的可解释性。

基本点

  • 旋转可以使组件的解释更清晰
  • 倾斜旋转通常更具有理论意义。即,观察到的变量可以用较少数量的相关成分来解释。

例子

  • 10 测试所有测量能力,一些测量语言和一些测量空间能力。所有测试都是相互关联的,但在语言测试或空间测试中的相互关联大于跨测试类型。一个简约的 PCA 可能涉及两个相关的组件,一个语言和一个空间。理论和研究表明,这两种能力是相关的。因此,倾斜旋转在理论上是有意义的。