荟萃分析的优缺点

机器算法验证 荟萃分析
2022-02-17 07:43:46

我一直在考虑对进化的特定研究领域进行一些元分析,但在我进一步研究之前,我想知道;该过程的积极和消极因素是什么?例如,不需要实际实验是一种优势(时间和金钱),但会存在发表偏差(发表更令人兴奋的结果),这将是一个劣势。

统计期刊中有哪些论文讨论了荟萃分析的优缺点?

3个回答

根据我做这些的经验,如果以前没有做过,比如你没有在某个领域提供自己的转折,那么正确的期刊不会对它们有偏见。荟萃分析不会出现在科学中,但在您的领域中,好的期刊通常适合新的荟萃分析。

不做实验所节省的时间和成本常常被做其他事情所消耗。最大的问题之一是许多文章没有报告足够的信息来分析。您经常必须联系作者来恢复这一点,不幸的是,他们经常不能或不会遵守请求。这是该过程中最大的时间槽。

您还错过了一些高引用率等优点。如果你是第一个也是唯一一个元分析的新研究人员会经常引用你的论文。另一个亲是比较容易的后续研究。在一两年内,在一个动态的研究领域中,您只需将接下来两年的研究添加到后续的荟萃分析中。如果您是先行者,在研究领域中选择荟萃分析相对容易。然后它导致相对较高的引用率。

如果您担心从文献中检索到的结果存在发表偏倚,则可以使用诸如漏斗图(y 轴上的研究大小(通常为-se)和 x 上的影响)之类的统计技术检测到这样的。关于某个主题的无偏见文献往往会在漏斗图中产生对称的结果,但由于发表偏差而产生的影响看起来更像是分布的一半。与做实验不同的是,发现进入荟萃分析的数据有偏见是可以发表的。

Borenstein、Hedges、Higgins 和 Rothstein 的Meta-Analysis 简介详细讨论了 Meta 分析的优缺点。例如,参见“元分析的批评”一章,作者回应了对元分析的各种批评。我记下该章的章节标题,然后从记忆中做出与该点相关的一些观察:

  • “一个数字不能概括一个研究领域”:一个好的元分析将模拟真实效应大小的可变性并模拟估计的不确定性。
  • “文件抽屉问题使荟萃分析无效”:漏斗图和相关工具允许您查看样本量是否与效应量相关,以检查发表偏倚。好的荟萃分析努力获得未发表的研究。这个问题与叙事研究共享。
  • “混合苹果和橙子”:好的荟萃分析提供了一个严格的编码系统,用于对纳入的研究进行分类,并证明在荟萃分析中纳入和排除研究是合理的。在对研究进行分类后,可以进行调节分析以查看效应大小是否因研究类型而异。
  • “重要研究被忽略”:您可以对研究的评估质量进行编码。大样本可以被赋予更大的权重。
  • “荟萃分析可能不同意随机试验”:
  • “荟萃分析表现不佳”:这仅仅是提高荟萃分析方法标准的论据。
  • “叙述性评论更好吗?”:对荟萃分析的许多批评(例如,发表偏倚)与叙述性评论相同。只是推理方法在叙述性评论中不够明确和不够严谨。

我想我会对“元分析的批评”进行批评,并向 Michael Borenstein 及其同事道歉。

  • “一个数字不能概括一个研究领域”:一个好的元分析将模拟真实效应大小的可变性并模拟估计的不确定性。

与不确定性一样,方差只是另一个可能具有误导性的总结,如果没有明确处理几乎可以肯定存在的偏差,两者都会非常具有误导性。

  • “文件抽屉问题使荟萃分析无效”:漏斗图和相关工具允许您查看样本量是否与效应量相关,以检查发表偏倚。好的荟萃分析努力获得未发表的研究。这个问题与叙事研究共享。

正如 Box 曾经说过的那样——就像派出一艘划艇去看看海面是否足够平静,可以让玛丽女王进入。非常低的功率,几乎可以肯定是错误指定的审查过程。

  • “混合苹果和橙子”:好的荟萃分析提供了一个严格的编码系统,用于对纳入的研究进行分类,并证明在荟萃分析中纳入和排除研究是合理的。在对研究进行分类后,可以进行调节分析以查看效应大小是否因研究类型而异。

再次绝望的权力和通常的聚合偏见也是​​如此。

  • “重要研究被忽略”:您可以对研究的评估质量进行编码。大样本可以被赋予更大的权重。

现在,无望的功效、模型错误规范和偏差并不总是得到适当的解释,请参阅Meta 分析中质量分数产生的偏差

  • “荟萃分析可能不同意随机试验”:

完全同意,也是他们真正不确定性的唯一来源。

  • “荟萃分析表现不佳”:这仅仅是提高荟萃分析方法标准的论据。

完全同意。

  • “叙述性评论更好吗?”:对荟萃分析的许多批评(例如,发表偏倚)与叙述性评论相同。只是推理方法在叙述性评论中不够明确和不够严谨。

完全同意。

不知道为什么很多荟萃分析文献都支持这样的玫瑰色眼镜 - 荟萃分析必须进行医学研究中的荟萃分析:强烈鼓励提高个人研究工作的质量,但应该在充分了解所有情况的情况下进行批判性研究麦芽汁。

而且,正如我几乎总是忘记的那样,我需要澄清我所说的荟萃分析究竟是什么意思,因为其他人认为它的意思随着时间和地点而变化,也许是今天最常见的意思——只是对获得的提取数字使用的定量方法在系统评价中 - 不是我的意思。我的意思是整个系统审查过程,即使决定根本不使用任何定量方法。或者只用wiki中引用的一句话

在统计学中,荟萃分析是指侧重于对比和组合不同研究结果的方法,以期识别研究结果之间的模式、这些结果之间的分歧来源,或其他可能在研究背景下发现的有趣关系。多项研究。