评分函数的定义

机器算法验证 分布 预测 预测模型 模型评估 计分规则
2022-04-12 07:02:32

评分函数用于评估概率预测。问题:评分函数是正向还是负向?

例如,在论文Strictly Proper Scoring Rules, Prediction, and Estimation中,它说小号(,)小号(,)对于任何分布,

相反,在论文Predictive Model Assessment for Count Data中则相反,即小号(,)小号(,)对于任何分布.

定义分数的最常用方法是什么?

2个回答

“正面导向”和“负面导向”评分规则在文献中都很常见。更好的论文明确指出他们使用的约定。

不幸的是,并不是每个人都知道这两种常见的约定。所以那些认为“他们的”惯例是​​“正常”的人不会注意到他们遵循的是哪个惯例——因为毕竟,他们无法想象它不会被所有人共享。在这种情况下,您需要从上下文中了解所遵循的约定。

我认为在这里参考维基百科很有用。

您上面引用的第一个等式是用于正确的评分规则。这是通过使用真实概率分布报告最高可能分数的方法。

我无法访问问题中引用的第二个文档,所以我只能猜测它是 a)错字或 b)分数的定义使得负值是最优的。