世界杯预测是否可以检验?

机器算法验证 预测模型 预言 模型 验证
2022-03-22 12:58:18

截至今天,已有数十种足球世界杯预测,一些更复杂,一些更优雅,其中大多数预测每个国家赢得特定比赛/杯赛的“机会”。

当我正在为一家报纸撰写博客文章并希望声明这些预测很好但由于无法测试而基本上毫无价值时,我想通过这个问题来证明我的假设并增强我有限的统计知识。

第一:机会例如,奇怪的是,尽管 Nate Silver 很好地解释了他的模型,但他从未解释过“机会”的实际概念。如果 538 的模型“预测”巴西有 45% 的机会赢得比赛,这确实意味着如果完全相同的杯赛打一千次,并且模型是正确的,那么巴西平均会赢得 450 次。平均而言,没有赢得 550我对吗?

第二:评估模型的预测能力:我对数据挖掘、机器学习和预测建模的更有限的知识告诉我,通常,为了评估模型的强度,需要使用 x 验证或验证等程序使用专用测试集。为此,必须存在一个测试集以世界杯为例,这实际上意味着像 538 这样的模型必须应用于过去 20 多个世界杯(由于缺乏历史数据且极其繁琐而无法实现)或无数“实例”当前的世界杯(不可能,因为......好吧)。只是说一个模型是一个很好的预测器,因为它正确地预测了(大部分匹配)这个2014 年世界杯并不严格有效,是吗?同样,当 Nate Silver 表示 SPI 在 2010 年运行良好时,这实际上并没有告诉我们什么,因为从随机结果的意义上说,它可能只是偶然?那么,鉴于我们没有将这些模型应用于接下来的 100 届世界杯并在之后评估它们,我们无法判断这些如此突出的世界杯预测中的一个是否真的是好的模型?

你是什​​么意思?

1个回答

是的,世界杯的预测是可以检验的。除了上面的精彩评论之外,这里还有一种思考方式:

巴西获胜(或获胜,因为我的回答晚了几年)的 45% 概率并不是凭空得出的。相反,它来自对单个比赛结果的模拟,其中模型预测输赢,并且对这些预测也有一定的信心。因此,您可以预测锦标赛中的每一场比赛,而不是一个单一的预测(巴西获胜!),以及每个预测的不确定性。

在这种情况下,您可以进行相当复杂的检查。在 Silver 的模型预测一支球队以 90% 的概率获胜的比赛列表中,它应该是正确的 9/10 次。在它预测一支球队只有 60% 的获胜概率的比赛中,他们应该是正确的 6/10 次。等等。

我的观点很简单:不是只有一个预测,而是要测试大量的预测,这为您提供了一种简单、准确的方法来评估模型的执行情况。

当然,这对 Silver 来说都不是什么新鲜事。他的声名鹊起并不是因为他预测了 2008 年美国联邦选举的结果许多正式和非正式的模型都这样做了。他的工作被认为令人印象深刻,因为它正确地预测了总统选举和每一场参议院竞选中49/50的州级结果而且他也普遍对胜利的差距做出了准确的预测。