在结构方程模型中具有非常小的样本的并发症

机器算法验证 造型 样本量 引导程序 结构方程建模
2022-03-12 23:20:09

我正在 Amos 18 中运行结构方程模型 (SEM)。我正在为我的实验寻找 100 名参与者(松散地使用),这被认为可能不足以进行成功的 SEM。我一再被告知 SEM(连同 EFA、CFA)是一个“大样本”统计程序。长话短说,我没有达到 100 名参与者(真是令人惊讶!),排除两个有问题的数据点后只有 42 名。出于兴趣,我还是尝试了该模型,令我惊讶的是,它似乎非常适合!CFI >.95,RMSEA < .09,SRMR <.08。

模型并不简单,其实我会说它是比较复杂的。我有两个潜在变量,一个有两个观察到的变量,另一个有 5 个观察到的变量。我在模型中还有四个额外的观察变量。例如,变量之间存在许多间接和直接关系,其中一些变量是其他四个变量的内生变量。

我对 SEM 有点陌生;但是,我认识的两个非常熟悉 SEM 的人告诉我,只要拟合指数良好,效果就可以解释(只要它们显着)并且模型没有明显的“错误”。我知道一些拟合指标在暗示良好拟合方面存在偏见或反对小样本,但我之前提到的三个似乎很好,我相信没有类似的偏见。为了测试间接影响,我使用自举(大约 2000 个样本),90% 偏差校正置信度,蒙特卡罗。另外需要注意的是,我正在针对三种不同的条件运行三种不同的 SEM。

我有两个问题希望你们中的一些人考虑一下,如果你们有什么要贡献的,请回复:

  1. 我的模型是否存在拟合指数未证明的重大弱点?小样本将被突出显示为研究的一个弱点,但我想知道是否存在一些我完全没有注意到的巨大统计问题。我计划在未来再招募 10-20 名参与者,但这仍然会给我留下相对较小的样本来进行此类分析。

  2. 鉴于我的小样本或我使用它的上下文,我使用引导程序是否有任何问题?

我希望这些问题对于这个论坛来说不是太“基本”。我已经阅读了许多关于 SEM 和相关问题的章节,但我发现人们在这方面的意见非常分散!

干杯

2个回答

一点:没有所谓的“基本问题”,你只知道你知道的,而不是你不知道的。提出问题通常是找出答案的唯一方法。

每当您看到小样本时,您就会发现谁对他们的模型真正有“信心”,而谁没有。我这样说是因为小样本通常是模型影响最大的地方。

作为一个敏锐的(心理?)建模者自己,我说去吧!您似乎采取了谨慎的态度,并且由于样本量小,您已经承认潜在的偏见等。将模型拟合到小数据时要记住的一件事是您有 12 个变量。现在你应该想一想——任何具有 12 个变量的模型可以由 42 个观测值确定吗?如果您有 42 个变量,那么任何模型都可以完全适合这 42 个观察值(松散地说),因此您的情况不会太灵活。当您的模型过于灵活时会发生什么?它倾向于适应噪音——也就是说,由你假设的事物以外的事物决定的关系。

通过预测未来 10-20 个样本将来自您的模型,您也有机会将您的自我放在您的模型所在的位置。我想知道您的批评者会对给出正确预测的所谓“狡猾”模型有何反应。请注意,如果您的模型不能很好地预测数据,您会得到类似的“我告诉过你”。

您可以向自己保证您的结果可靠的另一种方法是尝试打破它们。保持原始数据完整,创建一个新数据集,看看你必须对这个新数据集做什么,以使你的 SEM 结果看起来很荒谬。然后看看你必须做什么,并考虑:这是一个合理的场景吗?我的“荒谬”数据是否类似于真正的可能性?如果您必须将您的数据带到荒谬的领域以产生荒谬的结果,它提供了一些保证(启发式,非形式化)您的方法是合理的。

我看到的主要问题是缺乏动力。验证性因素和 SEM 测试看起来可以接受零值——你想看到一个不显着的 p 值——所以缺乏能力可能是一个问题。检验的功效取决于样本大小 (42) 和自由度。AMOS 为您提供自由度。你没有引用它,但在这种情况下它不会很大。对于 12 个变量,您从 66 个 DF 开始,然后为您估计的每个参数减去 1。我不知道会有多少,但你说你有几个因素和各种结构之间的相关性。

我不完全同意 Rolando2。在 SEM 中,您可以通过拥有大量变量来获得收益,假设它们是基础结构的可靠指标。所以不要减少变量的数量。出于同样的原因,我不完全同意@probabilityislogic。在 SEM 中,您不会尝试用 42 个观察值对 12 个变量进行建模。您正在尝试通过 12 个指标对结构进行建模,并通过 42 次重复来加强。一个非常简单的因子模型——1 个因子和 12 个指标——可能需要 42 人进行测试。

当您接近模型饱和时,RMSEA 和其他拟合优度指标将趋于改善,因此您再次冒着误导结果的风险。

话虽如此,我已经看到小型数据集拒绝因子模型。这可能意味着合身似乎很好。

注意:您还可以检查 SEM 模型的残差。这些是估计协方差矩阵和模型协方差矩阵之间的差异。如果您要求,AMOS 会将它们提供给您。检查残差可能表明它们是否均匀分布,或者某些协方差的拟合是否非常差。