从贝叶斯的角度研究复制

机器算法验证 贝叶斯 可复制性
2022-04-02 18:00:59

考虑以下情况:研究 A 比较了两组并发现平均差异,影响大小为 d = .8 (p<.05)。研究 B 是直接复制,并在 d = .3 (p < .05) 的相同方向上发现效果。

从 NHST 的角度来看,“研究 B 是否复制了研究 A 的结果?”这个问题没有单一/简单的答案。阿森多夫等人。(2012)总结如下:

“鉴于建立可复制性的单一方法是没有限制的,但是,使用多种推理策略 [...] 是一种更好的方法。在实践中,这意味着通过回答四个问题来总结结果:(a) 研究是否同意影响?(b) 统计显着性的模式是什么?(c) 后续研究的影响大小是否在第一项研究的 CI 内?(d) 设计的哪些方面应被视为固定因素,哪些随机因素?”。

这意味着,对于“这项研究是否被复制?”这个问题没有单一的答案。(另请参阅 Sanjay Srivastava 的博客文章什么是成功或失败的复制?)。

现在我问自己:从贝叶斯的角度来看,可能有一个简单的(r)答案吗?Kruschke (2010) 描述了一种“累积复制概率”,它将研究 A 的实际后验分布作为模拟数据的先验,然后给出复制研究 A 的某个决策的概率的答案(例如贝叶斯模型比较)。

然而,在我的情况下,我们已经进行了两项研究。

现在这是我的问题:是否有某种方法可以将研究 A 的后验信息作为研究 B 的结果提供信息,并为“研究 B 是研究 A 的复制吗?”这个问题提供答案?这样的答案怎么可能?

(因为我对贝叶斯统计很感兴趣但到目前为止还没有经验,所以我对这种情况的描述可能完全错误......)


阿森多夫。(2012)。增加心理学可复制性的建议。欧洲人格杂志。

克鲁施克,JK(2010 年)。贝叶斯数据分析。威利跨学科评论:认知科学,1(5),658-676。doi:10.1002/wcs.72

3个回答

看起来您在谈论Meta-Analysis,这是对先前研究的统计研究。

这不是一个完全贝叶斯概念,有许多常客荟萃分析,但正如本章所指出的,它非常适合贝叶斯统计。

谷歌搜索“贝叶斯元分析”会发现很多文章。

您提到的“直接复制”是一个问题;研究 A 中评估的任何参数在研究 B 中也存在,因此说一个影响是积极的,另一个是消极的,或者一个是零而不是另一个,或者其他什么 - 意味着非 -由于连贯性,在贝叶斯分析中不会发生复制。

当然,如果您没有处于两种研究都已经进行过的情况(并且大多数计划复制的人都没有),那么完全有可能根据研究 A 的数据做出的决定后来与研究 B 相矛盾,这是真的无论一个是否是贝叶斯。

此外,由于研究 A 和研究 B 中的参数不同,即使先前的信息指向其他地方,贝叶斯也很容易得出结论它们不同。

我的第一反应是这些估计的置信区间是多少(如果是贝叶斯分析,则是可信区间)?

如果置信区间类似于,

95% CI [ .1, .5] 和 95% CI [.2, .14] 我会得出结论,他们估计 d 在相似的范围内。即使其中一项研究的结果并不显着,例如 95% CI [-.2, .8] 和 95% CI [.2, .14],我仍然认为他们发现了一致的结果。