因子模型的因子显着性

机器算法验证 假设检验 因子分析
2022-03-26 14:59:26

我正在使用 形式的给定因子模型, 其中中的随机向量,因子载荷中的随机向量(与)和是平均零创新向量,独立于为简单起见,创新是正态分布且成对独立的。我的问题说起来相对简单:我如何测试一个因素是否显着,就像预测变量在线性回归中显着一样?

y=Bx+ϵ
xRMBN×MyRNNMϵx

澄清:我也许应该强调我正在使用给定的模型,并且我必须评估模型中每个因素的预测值。换句话说,是否有一种简单的方法来评估从模型中删除一个因子是否会导致预测能力的损失,而不需要比较有和没有该因子的两个不同模型?在后一种情况下,有大量关于模型选择的文献,基于 ML、GMM 等(因子模型的旋转不变性并不起重要作用,顺便说一句)。

4个回答

简短的回答是:你可以做一些事情,但我不确定它会有多大意义。

长答案:我将给出一个简单模型的长答案,其中我们只有一个未知的潜在因素。这个想法延续到更一般的情况,尽管有更多的复杂性。从您的因子模型可以得出:

E(y)=BE(x)

Var(y)=BTBVar(x)+σ2

(注意:请记住,在这个简化模型中:是一个标量,我们只处理一个因子)。x

由于数据呈正态分布,因此上述两个方程确定了您的似然函数。

但是,请注意您在此处存在识别问题,因为您必须同时估计解决识别问题的传统方法是假设:Bx

B(1)=1

(即,将第一个元素的因子加载设置为 1。否则,我们可以通过 \alpha 缩放B\缩放并获得相同的 E(y))。BαE(x)1α

它遵循:

E(x) = E(y(1))

换言之,上述对 B 的识别约束有效地将我们的因子的均值约束为我们的第一个因变量(即 y(1))的样本均值。

出于类似的原因,我们假设:

Var(x)=1

(否则你可以只并用缩放并且你的似然函数不会改变)。BαVar(x)1α

由于我们对 x 的分布施加了识别约束(这在某种意义上是任意的),我不确定对一个因子执行统计测试有多大意义。

的平均值计算因子得分并执行标准统计检验E(x)=E(y(1))Var(x)=1

因此,您的问题的答案取决于:

上述统计检验得出的结论对于您选择的识别约束是否不变?

我不知道上述问题的答案。

只是在实践层面上说,在我的学科(心理学)中,我从未见过对纯因子分析这样做过。

话虽如此,统计模型的显着性(真正适合)通常通过使用结构方程建模来测试,在这种模型中,您尝试通过使用因子分析从您提出的结构中重现观察到的数据矩阵。

用于 R 的 SEM、lavaan 或 OpenMx 包都将执行此操作。

从技术上讲,卡方检验会告诉您一个因子模型是否完美拟合,但是对于任何可感知的(200+)样本量,这个统计数据几乎总是显着的。

在您指定因子模型后,R 的 psych 包还为您提供贝叶斯信息标准作为拟合度量,但我不确定这有多大用处。

如果所讨论的问题包括对最优因子数的检验,Jushan Bai 和 Serena Ng 在几篇文章中提供了一个基于 AIC/BIC 的检验,该检验针对不同的选项最小化了误差的方差。据我所知,他们提供了解决此问题的最新方法。另请参阅 Alexei Onatski,他使用基于因子协方差矩阵的特征值的不同方法。

我不确定我的问题是否正确,但是如果您已经有许多确切的因素,我想您可以使用卡方检验来查看您关注的因素加载是否像我们在多重回归中所做的那样重要。

所以在这里我假设你事先知道因素和标准变量的确切值,这很像多元回归。

如果您有多个标准变量,那么您可能想要测试特定因子的因子载荷对于 (0,0,0, ...,0) 是否显着不同。我们可以用多重比较或多元观点来解决这个问题。