因子分析中的最佳因子提取方法

机器算法验证 spss 主成分分析 因子分析
2022-02-12 00:19:35

SPSS 提供了多种因子提取方法:

  1. 主成分(根本不是因子分析)
  2. 未加权最小二乘
  3. 广义最小二乘
  4. 最大似然
  5. 主轴线
  6. 阿尔法分解
  7. 图像分解

忽略第一种方法,它不是因子分析(而是主成分分析,PCA),这些方法中哪一种是“最好的”?不同方法的相对优势是什么?基本上,我将如何选择使用哪一个?

附加问题:是否应该从所有 6 种方法中获得相似的结果?

1个回答

为了使它简短。最后两种方法都非常特殊,与数字 2-5 不同。它们都被称为公因子分析,并且确实被视为替代方案。大多数时候,它们给出了相当相似的结果。它们是“共同的”,因为它们代表经典因子模型共同因子+独特因子模型。正是这种模型通常用于问卷分析/验证。

主轴(PAF),也就是迭代的主因子是最古老的,也许是非常流行的方法。它是对矩阵的迭代 PCA应用程序,其中社区站在对角线上代替 1 或方差。因此,每次下一次迭代都会进一步细化社区,直到它们收敛。在这样做时,试图解释方差而不是成对相关性的方法最终解释了相关性。主轴方法的优势在于,它可以像 PCA 一样,不仅可以分析相关性,还可以分析协方差和其他1SSCP 度量(原始 sscp、余弦)。其余三种方法仅处理相关性[在 SPSS 中;协方差可以在其他一些实现中进行分析]。这种方法取决于社区开始估计的质量(这是它的缺点)。通常使用平方多重相关/协方差作为起始值,但您可能更喜欢其他估计(包括从先前研究中获得的估计)。请阅读本文了解更多信息。如果您想查看主轴分解计算的示例、评论并与 PCA 计算进行比较,请查看此处

普通或未加权最小二乘法 (ULS)是直接旨在最小化输入相关矩阵和再现(通过因子)相关矩阵之间的残差的算法(而对角元素作为公共性和唯一性的总和旨在恢复 1) . 这是 FA的直接任务。如果因子的数量小于其秩,ULS 方法可以处理奇异的甚至不是正半定的相关矩阵,尽管理论上 FA 是否合适是值得怀疑的。2

广义或加权最小二乘 (GLS)是对前一个的修改。当最小化残差时,它对相关系数进行不同的加权:具有高唯一性的变量之间的相关性(在当前迭代中)被赋予较少的权重如果您希望您的因子拟合高度独特的变量(即那些受因子弱驱动的变量)比高度常见的变量(即受因子强烈驱动的变量)更差,请使用此方法。这个愿望并不少见,尤其是在问卷构建过程中(至少我是这么认为的),所以这个属性是有利的34

最大似然 (ML)假设数据(相关性)来自具有多元正态分布的总体(其他方法没有这样的假设),因此相关系数的残差必须正态分布在 0 左右。在上述假设下,通过 ML 方法迭代估计载荷。相关性的处理以与广义最小二乘法相同的方式通过唯一性加权。虽然其他方法只是按原样分析样本,但 ML 方法允许对总体进行一些推断,通常会计算一些拟合指数和置信区间 [不幸的是,大多数情况下不在 SPSS 中,尽管人们为 SPSS 编写了宏它]。

我简要描述的所有方法都是线性的、连续的潜在模型。例如,“线性”意味着不应分析等级相关性。例如,“连续”意味着不应分析二进制数据(基于四通道相关性的 IRT 或 FA 更合适)。


1因为相关(或协方差)矩阵, - 在将初始公共性置于其对角线之后,通常会有一些负特征值,这些要保持清洁;因此 PCA 应该通过特征分解而不是 SVD 来完成。R

2 ULS 方法包括缩减相关矩阵的迭代特征分解,如 PAF,但在更复杂的 Newton-Raphson 优化过程中,旨在找到最大程度地重建相关性的唯一方差(,唯一性)。在这样做时,ULS 似乎等同于称为 MINRES 的方法(与 MINRES 相比,仅提取的载荷看起来有些正交旋转),已知该方法可以直接最小化相关性残差的平方和。u2

3 GLS 和 ML 算法基本上与 ULS 相同,但迭代的特征分解是在矩阵(或)上执行的,以合并唯一性作为权重。ML 与 GLS 的不同之处在于采用了正态分布下预期的特征值趋势的知识。uR1uu1Ru1

4由不太常见的变量产生的相关性被允许拟合得更差这一事实可能(我猜是这样)为偏相关性的存在提供了一些空间(无需解释),这看起来不错。纯公因子模型“期望”没有偏相关,这不太现实。

在此处输入图像描述