在荟萃分析中,应该如何处理不包含原始数据的非重要研究?

机器算法验证 假设检验 统计能力 荟萃分析 规模效应 群体差异
2022-03-14 13:10:28

假设我正在进行一项荟萃分析,研究 A 组和 B 组在某个结构方面的表现。现在,我将遇到的一些研究报告说,两组之间没有发现统计差异,但不会提供确切的测试统计数据和/或原始数据。在荟萃分析中,我应该如何处理此类研究?

基本上,我在这里看到了三种不同的选择:

  1. 将它们全部包括在内,并为它们中的每一个分配一个效果大小为 0。
  2. 把它们都扔掉。
  3. 对他们每个人进行某种权力分析,或者为一定数量的参与者设置一个阈值。包括所有应该能够达到统计显着性的内容,并为它们中的每一个分配一个 0 的影响大小。把其余的扔掉。

我可以看到所有不同选项的优点。选项一相当保守,您只会冒犯 II 类错误的风险。选项二会增加犯 I 类错误的风险,但它也可以避免你的结果因为一堆动力不足的研究而毁掉。选项三似乎是选项一和选项二之间的中间道路,但必须做出很多假设和/或纯粹的猜测(你的功效分析应该基于什么影响大小?你应该要求每个参与者的数量是多少?研究它是否通过?),可能会使最终结果的可靠性和主观性降低。

2个回答

正如您所指出的,这三种方法都有其优点。显然没有一种选择是“最好的”。为什么不做所有 3 项并将结果作为敏感性分析呈现?

通过充分和适当的敏感性分析进行的荟萃分析表明,作者非常清楚手头数据的局限性,明确说明我们在进行荟萃分析时所做选择的影响,并且能够批判性地评估后果。对我来说,这是进行良好的荟萃分析的标志。

任何曾经进行过荟萃分析的人都非常清楚,在此过程中需要做出许多选择和决定,而这些选择和决定会对获得的结果产生相当大的影响。荟萃分析(或更一般地,系统评价)的优势在于方法(以及因此的选择和决策)是明确的。人们可以系统地评估它们的影响。这正是应该进行荟萃分析的方式。

以下是我将采取的步骤(以及我教给我的学生的步骤):

1) 联系原始研究的作者。保持礼貌并要求在您的荟萃分析中使用准确的效果估计。可能发生的最糟糕的事情是他们不回复或拒绝向您提供信息。最好的情况是你得到你正在寻找的确切信息。

2) 如果您有准确的 p 值,您通常可以在一定程度上确定地反向计算 SD。

3)你做了某种估算。这可能是使用“借用”来自类似规模试验的效果估计、荟萃分析中最大的 SD、来自相同荟萃分析中类似研究的 SD、专家意见等。有很多方法可以估算缺失的数据,一些在科学上比其他人更正确,但最重要的是您对自己所做的事情非常清楚,并进行敏感性分析以确定插补对汇总效应估计的影响。

3)你把他们的研究放到缺失数据的荟萃分析中。该程序(例如 RevMan)不会在分析中赋予这些研究任何权重,因为它无法计算该研究的效果估计值和方差,但您将能够直观地显示有部分数据的其他研究不属于汇总计算的一部分。

4) 你没有包括这些研究的数据。

选你毒...