您正在寻找的是所谓的评分规则，这是评估概率预测的方法。它们是天气预报员在 1950 年代发明的，统计界已经对它们进行了一些研究，但我不知道有任何关于该主题的书籍。

您可以做的一件事是按概率范围（例如：0-5%、5%-10% 等）对预测进行分类，并查看该范围内发生了多少预测事件（如果有 40 个事件在0-5% 的范围，出现 20 个，那么您可能会遇到问题）。如果事件是独立的，那么您可以将这些数字与二项分布进行比较。

在他们关于联邦党人论文的经典著作中，莫斯特勒和华莱士主张对数惩罚函数：预测事件并且它发生时，它没有发生的惩罚等于。因此，根据您的预测，当发生的任何事情都出乎意料时，惩罚就会很高。$-\log(p)$$p$$-\log(1-p)$

他们支持这个函数的论点基于一个简单的自然标准：“惩罚函数应该鼓励对正确概率的预测，如果它们是已知的。” 假设总惩罚是对所有预测的总和并且将有三个或更多预测，M&W 声称对数惩罚函数是唯一一个（直到仿射变换）“预期惩罚在所有预测中最小化”的函数。正确的概率。

在此之后，您可以使用的一个很好的测试是跟踪您累积的日志惩罚。如果在很长一段时间后（或通过一些独立的预言），您获得了对实际概率的准确估计，您可以将您的惩罚与可能的最小惩罚进行比较。该差异的平均值衡量您的长期预测性能（越低越好）。这也是比较两个或多个竞争预测变量的好方法。