在因子分析/PCA 中进行旋转的直观原因是什么以及如何选择合适的旋转?

机器算法验证 主成分分析 解释 因子分析 降维 因子轮换
2022-01-30 16:47:15

我的问题

  1. 在因子分析(或 PCA 中的组件)中进行因子旋转背后的直观原因是什么?

    我的理解是,如果变量在顶部组件(或因子)中几乎相同地加载,那么显然很难区分这些组件。因此,在这种情况下,可以使用旋转来更好地区分组件。它是否正确?

  2. 轮换的后果是什么?这会影响什么?

  3. 如何选择合适的轮换?有正交旋转和倾斜旋转。如何在这些之间进行选择,这种选择的含义是什么?

请用最少的数学方程直观地解释。很少有分散的答案是数学繁重的,但出于直观原因和经验法则,我正在寻找更多。

1个回答
  1. 轮换的原因进行旋转是为了解释因子分析中提取的因子(或 PCA 中的组件,如果您冒险使用 PCA 作为因子分析技术)。当你描述你的理解时,你是对的。旋转是为了追求加载矩阵的某种结构,可以称为简单结构这是当不同的因素倾向于加载不同的变量时1. [我认为说“一个因子加载一个变量”比“一个变量加载一个因子”更正确,因为它是“在”或“后面”变量的因子使它们相关,但你可能会说随你喜欢。] 从某种意义上说,典型的简单结构是相关变量的“集群”出现的地方。然后,您将一个因子解释为位于该因子足够加载的变量的含义的交集上的含义;因此,要获得不同的含义,因子应该不同地加载变量。一个经验法则是,一个因子应该至少加载 3 个变量。

  2. 后果旋转不会改变变量在因子空间中相对于彼此的位置,即保持变量之间的相关性。改变的是变量向量端点在因子轴上的坐标 - 负载(请在此站点搜索“负载图”和“双图”,以获取更多信息)在加载矩阵的正交旋转之后,因子方差发生了变化,但因子保持不相关,并且保留了可变的公共性。2

倾斜旋转中,如果这会产生更清晰的“简单结构”,则允许因子失去它们的不相关性。然而,相关因素的解释是一门更难的艺术,因为你必须从一个因素中获得意义,以免它污染与之相关的另一个因素的意义。这意味着您必须并行地解释因素,而不是一一解释。倾斜旋转给您留下两个负载矩阵,而不是一个:模式矩阵和结构矩阵( , 其中是因子之间的相关矩阵; , 其中PSS=PCCC=QQQ是倾斜旋转的矩阵:,其中是任何旋转之前的加载矩阵。)模式矩阵是回归权重的矩阵,因子通过它预测变量,而结构矩阵是相关性(或协方差)之间的因素和变量。大多数时候,我们通过模式载荷来解释因子,因为这些系数代表了因子对变量的独特投资。中的行平方和此外,由于因子相关,它们的方差部分叠加S=AQAPS3

当然,正交和倾斜旋转都会影响您可能想要计算的因子/分量分数(请在本网站上搜索“因子分数”)。实际上,旋转会为您提供之后的那些因素之外的其他因素。他们继承了他们的预测能力(对于变量及其相关性),但他们会从你那里得到不同的实质性意义。旋转后,您可能不会说“这个因素比那个更重要”,因为它们是相互旋转的(老实说,在 FA 中,与 PCA 不同,即使在提取后你也可能很难说,因为因素被建模为已经“重要”)。4

  1. 选择有许多形式的正交和倾斜旋转。为什么?首先,因为“简单结构”的概念并不是一成不变的,可以用不同的方式表述。例如,varimax - 最流行的正交方法 - 试图使每个因子的载荷平方值之间的方差最大化;有时使用的正交方法quartimax最小化了解释变量所需的因子数量,并且经常产生所谓的“一般因子”。其次,除了结构简单外,不同的旋转针对不同的侧目标。我不会详细介绍这些复杂主题,但您可能想自己阅读它们。

应该更喜欢正交还是倾斜旋转?好吧,正交因子更容易解释,整个因子模型在统计上更简单(当然是正交预测因子)。但是在那里你对你想要发现的潜在特征施加正交性;你确定它们在你研究的领域应该是不相关的吗?如果他们不是呢?倾斜旋转方法5(尽管每个人都有自己的倾向)允许但不强制因素相关,因此限制较少。如果倾斜旋转表明因素只是弱相关,你可能会确信“实际上”确实如此,然后你可能会良心转向正交旋转。另一方面,如果因素非常相关,它看起来不自然(对于概念上不同的潜在特征,特别是如果您正在开发心理学等方面的清单,请记住一个因素本身就是一个单变量特征,而不是一批现象),您可能希望提取更少的因子,或者使用倾斜结果作为批处理源来提取所谓的二阶因子。


1瑟斯通提出了简单结构的五个理想条件。最重要的三个是:(1)每个变量必须至少有一个接近零的负载;(2) 对于至少m个变量,每个因子必须具有接近于零的载荷(m是因子的数量);(3) 对于每对因子,至少有m个变量,其中一个变量的载荷接近于零,而另一个变量的载荷离零足够远。因此,对于每对因子,它们的加载图在理想情况下应该类似于:

在此处输入图像描述

这是纯粹的探索性 FA,而如果你正在做和重做 FA 来开发一份问卷,你最终会想要放弃除蓝色分数之外的所有分数,前提是你只有两个因素。如果有两个以上的因子,您将希望其他一些因子的负载图的红点变为蓝色。


2

在此处输入图像描述


3因子(或分量)的方差是其平方结构载荷的总和,因为它们是变量和(单位尺度)因子之间的协方差/相关性。倾斜旋转后,因子可以相关,因此它们的方差相交。因此,它们的方差之和 SS in超过了所解释的整体公共性 SS in如果您想在因子 i 之后仅计算其方差的唯一“干净”部分,请将方差乘以因子对其他因子的依赖性的 ,即称为anti-image的量。的第 i 个对角线元素的倒数SSA1Ri2C1. 方差的“干净”部分的总和将小于所解释的整体公共性。


4您可能不会说“第一个因素/组件以这种或那种方式旋转改变”,因为旋转负载矩阵中的第一个因素/组件与未旋转负载矩阵中的第一个因素/组件不同相同的序数(“1st”)具有误导性。


5两个最重要的倾斜方法是promaxobliminPromax 是对 varimax 的斜增强:基于 varimax 的结构随后被松散,以更大程度地满足“简单结构”。它通常用于验证性 FA。Oblimin 非常灵活,因为它的参数 gamma 当设置为 0 时,使 oblimin 采用 quartimin 方法产生大多数斜解。gamma 为 1 产生最小倾斜解,即 covarimin,它是 promax 的另一种基于 varimax 的倾斜方法的替代方法。所有倾斜方法都可以是直接(=主要)和间接(=次要)版本 - 请参阅文献。所有的旋转,无论是正交还是倾斜,都可以通过Kaiser 归一化来完成(通常)或没有它。归一化使所有变量在旋转时同样重要。


一些线程供进一步阅读:

有理由根本不轮换因素吗?(也检查一下。)

倾斜旋转后解释哪个矩阵 - 模式或结构?

因子旋转技术(varimax 等)的名称是什么意思?

带有组件旋转的 PCA 还是 PCA 还是因子分析?