结合许多荟萃分析的结果后,神经科学中低功率的意义(Button et al 2013)

机器算法验证 p 值 荟萃分析 统计能力 神经科学 可复制性
2022-03-31 03:44:44

在 2013 年 Nature Neuroscience 的一篇评论文章中,Button 等人。电源故障:为什么小样本量会破坏神经科学的可靠性,有人指出:

神经科学研究的平均统计功效非常低

他们搜索了荟萃分析,计算了每一项的事后功效,并通过取中值事后功效来组合结果。中位数为 20%。我只是不明白。事后权力总是与获得的 p 值固有地相关联。写那个中值 p 值是 0.3 左右,对应于 20% 的事后能力,这不一样吗?

那么基本上这个结果是如何破坏神经科学研究的质量的呢?似乎他们一直在发表具有许多不显着 p 值的研究。

这篇评论是自然神经科学研究,作者非常有名,所以我认为我的解释更有可能有缺陷。

编辑:如果他们只包括具有名义意义的研究,我会看到一些观点。在这种情况下,中值功效将说明重要发现的中值复制概率。

1个回答

我不熟悉这项特定研究,但熟悉使用荟萃分析估计研究领域的力量。您关于“事后功效始终与实现的 p 值内在相关”的陈述向我表明,您假设对单个荟萃分析做出贡献的每项研究的事后功效是基于观察到的效果的假设等于真实的人口效应。只有在这种假设下,事后权力才会与 p 值相关(我个人认为这种形式的事后权力分析毫无意义,但这有点离题了)。

鉴于这是通常所做的,我认为本文的作者正在做的是假设元分析平均值是真正的总体效应,并使用该值估计对平均值做出贡献的研究的功效,而不是每项研究的观察效果。因此,荟萃分析中的平均功效是整体荟萃分析平均效应和个别研究的样本量(或标准误差)的函数。他们对每个荟萃分析都这样做了,并计算了它们的中值功效。