二元事件（或离散随机变量）的概率预测比较可以根据Brier 分数进行

但是您也可以使用ROC 曲线 ，因为这种类型的任何概率预测都可以转换为具有不同阈值的判别程序事实上，如果您的概率大于 ，您可以说“会下雨”并评估错过的错误发现，不同值的真实发现和真实否定。$\tau$$\tau$

你应该看看欧洲中期天气预报中心（ECMWF 所做的）。

实际上，您正在考虑一个模型，其中真正下雨的机会p是预测机会q的函数：p = p(q )。每次进行预测时，您都会观察到具有成功概率p(q)的伯努利变量的一个实现。如果您愿意将真实机会建模为基函数f1、f2、 ...、fk的线性组合，这是一个经典的逻辑回归设置；也就是说，模型说

Logit( p ) = b0 + b1 f1(q) + b2 f2(q) + ... + bk fk(q) + e

具有 iid 错误e。如果您不知道关系的形式（尽管如果天气预报员有任何好的p(q) - q应该相当小），请考虑使用一组样条曲线作为基础。像往常一样，输出由系数的估计和e的方差的估计组成。给定任何未来的预测q，只需将值与估计的系数一起插入模型中即可获得问题的答案（如果您愿意，可以使用e的方差围绕该答案构建预测区间）。

该框架足够灵活，可以包含其他因素，例如预测质量随时间变化的可能性。它还可以让您测试假设，例如是否p = q（这是气象员隐含的说法）。

当预报显示“（地区）有 X% 的降雨几率”时，这意味着数值天气模型已表明该地区 X% 的地区在所讨论的时间间隔内下雨。例如，预测“北美有 100% 的降雨几率”通常是准确的。请记住，这些模型擅长预测动力学，但不擅长预测热力学。

Brier 评分方法非常简单，是最直接适用的方法来验证预测结果与二元事件的准确性 。

不要只依赖公式……绘制不同时间段的分数、数据、错误、数据的[加权]滚动平均值、错误……很难说视觉分析可能揭示什么……在你思考之后你看到了一些东西，你会更好地知道要执行什么样的假设检验，直到你查看数据之后。

Brier 分数固有地假设变化/潜在分布的稳定性，天气和技术驱动预测模型，缺乏线性，没有偏差，缺乏偏差变化......它假设相同的一般准确性/不准确性水平是一致的。由于气候变化的方式尚不为人所知，天气预报的准确性会降低；相反，向气象员提供信息的科学家拥有更多的资源、更完整的模型、更多的计算能力，因此预测的准确性可能会提高。查看错误可以说明预测的稳定性、线性和偏差……您可能没有足够的数据来查看趋势；您可能会了解到稳定性、线性度和偏差不是问题。您可能会了解到天气预报变得越来越准确......或者不是。