我已经阅读了几篇试图证明使用固定效应模型的出版物,其中的陈述类似于“选择固定效应模型是因为异质性低”。但是,我担心这可能仍然是一种不合适的数据分析方法。
是否有理由或出版物讨论这是否以及为什么可能是一个错误?
我已经阅读了几篇试图证明使用固定效应模型的出版物,其中的陈述类似于“选择固定效应模型是因为异质性低”。但是,我担心这可能仍然是一种不合适的数据分析方法。
是否有理由或出版物讨论这是否以及为什么可能是一个错误?
注意:如果您想快速回答有关使用异质性测试做出此决定的问题,请向下滚动到“哪些理由是合理的? ”。
研究人员为他们选择固定效应与随机效应荟萃分析综合提供了一些理由(有些理由比其他理由更合理/更不合理)。这些在介绍性荟萃分析教科书中进行了讨论,例如 Borenstein 等人。(2009 年)、卡(2011 年)和库珀(2017 年)。
在不谴责或宽恕任何这些理由的情况下(尚未),它们包括:
选择固定效应模型的理由
先前相信没有研究层面的变异性/调节因素:如果研究人员认为他们的样本中的所有效应大小仅因为抽样误差而变化——并且没有系统的研究层面的变异性(因此没有调节因素——就会有拟合随机效应模型几乎没有必要。我认为,当研究人员觉得拟合随机效应模型超出了他们的能力范围时,这个理由和前者有时会携手并进,然后通过声称,之后使这个决定合理化事实上,他们没有预料到任何真正的研究水平的异质性。
系统调节器已被详尽考虑:一些研究人员在调查并考虑了他们能想到的每个调节器后,可能会使用固定效应分析。这里的基本原理是,一旦研究人员解释了研究水平可变性的每一个可能/有意义的来源,剩下的就是抽样误差,因此随机效应模型就没有必要了。
选择随机效应模型的理由
对研究水平变异性/调节因素的先前信念:与理由 2相比。 (有利于固定效应模型),如果研究人员预计会有一些有意义的研究水平变异性(因此是适度的),他们会默认指定随机效应模型。如果你有心理学背景(我有),这正在成为一种越来越常规/受鼓励的默认思考效果大小的方式(例如,参见 Cumming,2014 年)。
显着异质性检验(即统计量):正如研究人员可能使用非显着性检验来证明他们选择固定效应模型的合理性一样,他们也可能使用显着性检验(拒绝同质效应大小的空值) ) 来证明他们使用随机效应模型的合理性。
分析实用主义:事实证明,如果您拟合随机效应模型并且不存在显着的异质性(即不显着),您将得出固定效应估计;只有在存在显着异质性的情况下,这些估计才会改变。因此,一些研究人员可能会默认使用随机效应模型,认为他们的分析将按照他们应该的方式“工作”,具体取决于基础数据的质量。
做出广泛/可概括推论的意图:与固定效应模型不同,随机效应模型允许研究人员(在某种程度上)超越他们的样本,就将在更广泛的文献中发挥作用的效应/调节模式而言。如果研究人员需要这种级别的推理,他们可能因此更喜欢随机效应模型。
指定错误模型的后果
虽然不是您问题的明确部分,但我认为重要的是要指出为什么研究人员在固定效应和随机效应荟萃分析模型之间进行选择时“正确”很重要:它主要归结为估计精度和统计能力。
固定效应模型在统计上更强大,但有可能产生人为精确的估计;随机效应模型在统计上不太强大,但如果存在真正的异质性,则可能更合理。在调节器测试的背景下,固定效应模型可能会低估误差方差的程度,而随机效应模型可能会高估误差方差的程度(取决于是否满足或违反了它们的建模假设,参见 Overton,1998)。同样,在心理学文献中,越来越多的人认为该领域过于依赖固定效应荟萃分析,因此我们自欺欺人地对我们的效应有更大的确定性/精确性(参见 Schmidt 等人., 2009)。
哪些理由是合理的?
直接回答您的特定询问:一些人(例如,Borenstein 等人,2009 年;Card,2001 年)告诫不要使用异质性检验统计量来决定是指定固定效应模型还是随机效应模型(理由 4.和理由 7. )。相反,这些作者争辩说,您应该主要根据概念上的理由(即理由 2.或理由 6.)做出此决定。统计量的易错性在特别小(或特别大)合成的上下文中也具有一定的直观意义,其中可能无法检测有意义的异质性(或检测微不足道的异质性)。
分析简单性(理由 1.)似乎是不太可能成功的固定效应模型的另一个理由(原因我认为更明显)。另一方面,如果研究人员能够证明他们已经考虑/模拟了范围广泛的调节变量,则认为所有可能的调节变量都已用尽(理由 3。 )在某些情况下可能更具说服力。如果他们只编写了几个版主,那么这个理由可能会被视为相当似是而非/站不住脚的。
让数据通过默认的随机效应模型(理由 8.)做出决定是我不确定的一个。这当然不是一个主动/有原则的决定,但再加上心理学领域转向偏好随机效应模型作为默认值,它可能被证明是一个可以接受的(尽管不是特别深思熟虑的)理由。
这留下了与关于效果分布的先前信念相关的理由(理由 2.和理由 6.),以及与研究人员希望获得许可做出的推论类型相关的理由(理由 5.和理由 9。)。关于效应分布的先前信念的合理性很大程度上取决于您正在综合的研究的特征;正如 Cooper (2017) 指出的那样,如果您正在综合机械/普遍过程的影响,从基本相似的上下文/样本中收集,并且在严格控制的环境中,固定效应分析可能是完全合理的。从同一实验的重复中合成结果将是一个很好的例子,说明何时需要这种分析策略(参见 Goh 等人,2016 年)。但是,如果您正在综合一个设计、操作、测量、上下文和样本特征差异很大的领域,那么似乎越来越难以证明一个人正在准确地研究每种情况下的效果相同。最后,人们希望做出的那种推断似乎是个人偏好/品味的问题,所以我不确定只要它在概念上似乎可以辩护,人们将如何开始支持/反对这种理由。
参考
Borenstein, M., Hedges, LV, Higgins, JPT, & Rothstein, HR (2009)。荟萃分析简介。英国西萨塞克斯郡:威利。
卡,北美(2011 年)。社会科学研究的应用荟萃分析。纽约,纽约:吉尔福德出版社。
库珀,H.(2017 年)。研究综合和荟萃分析:循序渐进的方法。加利福尼亚州千橡市:圣人。
卡明,G.(2014 年)。新的统计数据:为什么以及如何。心理科学,25(1),7-29。
Goh, JX, Hall, JA 和 Rosenthal, R. (2016)。您自己研究的迷你元分析:关于为什么的一些论据和关于如何的入门。社会和人格心理学指南针,10 (10), 535-549。
奥弗顿,RC(1998 年)。用于调节变量效应的荟萃分析测试的固定效应和混合(随机效应)模型的比较。心理学方法,3(3),354-379。
Schmidt, FL, Oh, IS, & Hayes, TL (2009)。Meta 分析中的固定与随机效应模型:模型属性和结果差异的经验比较。英国数学与统计心理学杂志,62(1),97-128。
您特别要求参考。
对此的经典参考可能是 Hedges 和 Vevea 题为“元分析中的固定和随机效应模型”的文章。
如果您从事健康工作,Cochrane 手册中的相关章节可能是必不可少的阅读材料,并且包含很多很好的意义。特别是它建议什么时候根本不应该考虑荟萃分析,并且除了简单地拟合随机效应模型之外,还清楚地区分了如何处理异质性。