Covid-19 的预测效果如何?

机器算法验证 预测 流行病学 新冠肺炎
2022-03-25 15:36:32

我希望这个问题在 CrossValidated 的范围内(我认为是这样,因为它最终是关于统计分析和机器学习的,我不是在寻找个人意见,而是在寻找评论或调查,例如基于预先注册的预测):

背景

由于众所周知的原因,例如行为变化或政策干预(这会导致与时间相关的繁殖率)或群体内的异质性(亚群之间的繁殖率不同),对像 Covid-19 这样的流行病进行建模是很困难的。

鉴于这些挑战以及提供准确预测的相关性,许多研究人员试图提供运行良好的模型,以告知公众和政策制定者未来 Covid-19 病例、住院和死亡的时间和规模。

问题

在经历了近两年的大流行之后:科学界是否已经达成共识,Covid-19 病例的预测效果如何(例如,基于预先登记的预测)?如果某些类别的模型比其他模型工作得更好,有什么实现吗?

一些进一步的信息

International Journal of Forecasting中有一篇经常被引用的文章,标题为“COVID-19 的预测失败”

流行病预测的记录可疑,而 COVID-19 的失败更加突出。数据输入不佳、建模假设错误、估计的高度敏感性、缺乏流行病学特征的结合、过去关于可用干预措施效果的证据不足、缺乏透明度、错误、缺乏确定性、仅考虑问题的一个或几个方面目前,缺乏关键学科的专业知识、群体思维和潮流效应以及选择性报告是这些失败的一些原因。

然而,至少有一位作者似乎在社区中受到争议因此,我不知道这篇文章是否反映了该领域的主流观点。特别是因为似乎还有其他更积极的文章(至少关于短期预测):

结论 多模型预测的集合可以通过评估未来的资源需求和发病率和死亡率的预期人口影响,为应对 Covid-19 大流行的政策提供信息。

1个回答

首先,很难评估在快速发展的领域是否存在共识。来自一个工作组的任何出版物或结果都可以(并且将,应该)受到其他研究人员的批评。Ioannidis 已经把踩到人们的脚趾变成了一种爱好,这一事实增加了这种效果(也使剧院变得更好)。

我个人非常重视约阿尼迪斯。从统计上看,他2005 年的首发步法并非火箭科学,而是以一种伟大的、公认的令人不快的方式表达了统计应用中长期存在的主要问题。我不知道如果没有他,心理学的可复制性危机是否会发生。

然而,他并不擅长于预测。再说一次,你引用的另一篇论文的作者也不是。这里的线索很少。(此外,您链接的另一篇论文针对不变空模型测试了他们的模型。这绝对是一个有用的基准,但还有其他简单的基准会更有说服力。)

请注意,Taleb 等人对 Ioannidis 论文有明确的回答。(印刷中,IJF塔勒布确实有更多的预测能力,他的主要观点是在大流行病等情况下评估预测性能有多难。再加上你注意到的所有因素,比如预测之间的反馈循环、政治干预、人们的行为,这一切都变得非常困难。

您可能想看看最近的国际预测研讨会2021 年会议上,有多个关于预测 COVID-19 的演讲(以及其他关于在 COVID-19 的背景下进行预测的演讲)。摘要听起来像这样:

Laura Coroneo,“测试 COVID-19 预测的预测准确性”

首先,在短期内(提前 1 周),没有预测团队的表现优于简单的时间序列基准。其次,在更长的时间范围内(提前 3 周和 4 周),预测者会更成功,有时甚至会超过基准。第三,表现最好的预测之一是整体预测,它使用统一的权重组合所有可用的预测。鉴于这些结果,收集广泛的预测并将它们组合成一个整体预测对于卫生当局来说可能是一种更安全的方法,而不是依赖于少量的预测。

集成改进预测是预测者同意的少数几件事之一。

Christos Emmanouilides,“预测 COVID-19:替代模型的大规模比较”

该研究提供了大量证据,表明在大约一个月的滚动窗口中估计的非参数回归模型的预测总体上比其他模型的点预测更准确。

回想一下 Taleb 关于在存在肥尾的情况下从点预测中学习任何东西的困难的观点。

我个人的看法是,到目前为止,关于哪种模型效果最好还没有达成共识,而且专家越多,他们就越认识到即使提出和回答这个问题也非常困难。