假设我做了一堆概率预测，比如：
- 第一季度销售增长为 10-15% 的概率为 70%，销售增长为 > 15% 的概率为 10%，销售增长为 < 10% 的概率为 20%
鉴于实际数据，衡量或跟踪我的准确性的最佳方法是什么？布赖尔分数？
我可以为不同类型的预测平均我的 Brier 分数吗？（例如，找到预测“有 80% 可能下雨”的 brier 分数，并将其与销售增长预测取平均值）
如何衡量概率预测的准确性？
机器算法验证
预测
计分规则
2022-03-29 04:07:31
1个回答
您的评论听起来好像您真的在寻找密度预测而不是点预测，即您想要预测未来结果的完整概率分布。这是一个很好的主意。密度预测在金融或计量经济预测中很常见，但不幸的是，在其他预测教科书和课程中很少涉及。Tay & Wallis (2000, Journal of Forecasting )给出了一个有用的早期调查。
评估密度预测的最常用方法是使用概率积分变换 (PIT)。典型的参考文献是Diebold, Gunther & Tay (1998, International Economic Review )。Berkowitz (2001, Journal of Business & Economic Statistics )和Bao, Lee & Saltoglu (2007, Journal of Forecasting )给出了替代方案。
最近，对（正确的）评分规则的兴趣有所增加，例如您提到的 Brier 评分。文献包括Mitchell & Wallis (2011, Journal of Applied Econometrics )和Gneiting, Balabdaoui & Raftery (2007, JRSS-B )。
最后，Gneiting & Katzfuss (2014, Annual Review of Statistics and its Application )给出了密度（或概率）预测的最新概述，再次关注评分规则。
其它你可能感兴趣的问题