截至今天,已有数十种足球世界杯预测,一些更复杂,一些更优雅,其中大多数预测每个国家赢得特定比赛/杯赛的“机会”。
当我正在为一家报纸撰写博客文章并希望声明这些预测很好但由于无法测试而基本上毫无价值时,我想通过这个问题来证明我的假设并增强我有限的统计知识。
第一:机会。例如,奇怪的是,尽管 Nate Silver 很好地解释了他的模型,但他从未解释过“机会”的实际概念。如果 538 的模型“预测”巴西有 45% 的机会赢得比赛,这确实意味着如果完全相同的杯赛打一千次,并且模型是正确的,那么巴西平均会赢得 450 次。平均而言,没有赢得 550杯。我对吗?
第二:评估模型的预测能力:我对数据挖掘、机器学习和预测建模的更有限的知识告诉我,通常,为了评估模型的强度,需要使用 x 验证或验证等程序使用专用测试集。为此,必须存在一个测试集。以世界杯为例,这实际上意味着像 538 这样的模型必须应用于过去 20 多个世界杯(由于缺乏历史数据且极其繁琐而无法实现)或无数“实例”当前的世界杯(不可能,因为......好吧)。只是说一个模型是一个很好的预测器,因为它正确地预测了(大部分匹配)这个2014 年世界杯并不严格有效,是吗?同样,当 Nate Silver 表示 SPI 在 2010 年运行良好时,这实际上并没有告诉我们什么,因为从随机结果的意义上说,它可能只是偶然?那么,鉴于我们没有将这些模型应用于接下来的 100 届世界杯并在之后评估它们,我们无法判断这些如此突出的世界杯预测中的一个是否真的是好的模型?
你是什么意思?