为什么在大型研究中发现小的影响表明发表偏倚?

机器算法验证 荟萃分析 发表偏倚
2022-02-07 23:55:14

几篇方法论论文(例如 Egger 等人 1997a、1997b)讨论了荟萃分析揭示的发表偏倚,使用的漏斗图如下图所示。 β受体阻滞剂在心肌梗死中的漏斗图

1997b 的论文接着说:“如果存在发表偏倚,预计在已发表的研究中,最大的研究将报告最小的影响。” 但这是为什么呢?在我看来,这一切都证明了我们已经知道的:只有大样本量才能检测到小的影响而对尚未发表的研究只字未提。

此外,引用的工作声称,在漏斗图中视觉评估的不对称性“表明存在选择性不发表较小的试验,但收益较小。” 但是,再一次,我不明白已发表的研究的任何特征如何可能告诉我们关于发表作品的任何信息(允许我们做出推论)

参考文献
Egger, M.、Smith, GD 和 Phillips, AN (1997)。荟萃分析:原则和程序英国医学杂志,315(7121),1533-1537。

Egger, M.、Smith, GD、Schneider, M. 和 Minder, C. (1997)。通过简单的图形测试检测荟萃分析中的偏差英国医学杂志,315(7109),629-634

3个回答

首先,我们需要考虑什么是“出版偏见”,以及它会如何影响真正将其纳入文献的内容。

一个相当简单的发表偏倚模型是我们收集一些数据,如果,我们发表。否则,我们不会。那么这如何影响我们在文献中看到的内容呢?好吧,一方面,它保证(假设使用 Wald 统计量)。重点在于,如果真的很小,那么相对较大,并且较大的是发布所必需的。p<0.05|θ^|/SE(θ^)>1.96nSE(θ^)|θ^|

现在假设在现实中,相对较小。假设我们进行了 200 个实验,其中 100 个样本量非常小,而 100 个样本量非常大。请注意,在 100 个非常小的样本量实验中,唯一会被我们的简单发表偏差模型发表的是那些具有较大只是由于随机错误然而,在我们的 100 个大样本实验中,将发布因此,如果较大的实验系统地显示出比较小的实验更小的效果,这表明也许θ|θ^| θ^|θ|实际上比我们通常从实际发表的小型实验中看到的要小得多。

技术说明:确实,要么有一个大的和/或将导致然而,由于效应大小通常被认为是相对于误差项的标准偏差,这两个条件本质上是等价的。|θ^| SE(θ^)p<0.05

这里的答案很好,+1。我只是想展示在极端情况下,这种效果在漏斗图中的表现。下面我将一个小效应模拟为,并在 2 到 2000 个观测值之间抽取样本。N(.01,.1)

制度下,图中的灰点不会公布。灰线是效应大小对样本大小的回归,包括“不良 p 值”研究,而红色则排除了这些。黑线显示真实效果。p<.05

正如你所看到的,在发表偏倚的情况下,小型研究倾向于高估效应量,而大型研究报告的效应量更接近真相。

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

reprex 包(v0.2.1)于 2019 年 2 月 20 日创建

以不同的方式阅读此声明:

如果没有发表偏倚,效应量应与研究量无关。

也就是说,如果您正在研究一种现象,则效应大小是现象的属性,而不是样本/研究。

效应量的估计值可能(并且将会)因研究而异,但如果随着研究量的增加,效应量会系统地减小,这表明存在偏差。关键是,这种关系表明还有其他小型研究显示效果较小但尚未发表,如果它们已发表并因此可以包含在荟萃分析中,总体印象将是效果较小比从已发表的研究子集中估计的值。

跨研究的效应量估计值的方差将取决于样本量,但如果没有偏差,您应该在低样本量下看到相同数量的低估和高估。