大多数关于正确评分规则的资源都提到了许多不同的评分规则,例如对数损失、Brier 评分或球形评分。但是,他们通常不会对它们之间的差异提供太多指导。(图表 A:维基百科。)
选择最大化对数得分的模型对应于选择最大似然模型,这似乎是使用对数得分的一个很好的论据。Brier 或球形评分或其他评分规则是否有类似的理由?为什么有人会使用其中一种而不是对数评分?
大多数关于正确评分规则的资源都提到了许多不同的评分规则,例如对数损失、Brier 评分或球形评分。但是,他们通常不会对它们之间的差异提供太多指导。(图表 A:维基百科。)
选择最大化对数得分的模型对应于选择最大似然模型,这似乎是使用对数得分的一个很好的论据。Brier 或球形评分或其他评分规则是否有类似的理由?为什么有人会使用其中一种而不是对数评分?
为什么有人会使用其中一种而不是对数评分?
因此,理想情况下,我们总是将拟合模型与做出决策区分开来。在贝叶斯方法中,模型评分和选择应始终使用边际似然来完成。然后,您使用该模型进行概率预测,您的损失函数会告诉您如何对这些预测采取行动。
不幸的是,在现实世界中,计算性能经常要求我们将模型选择和决策混为一谈,因此使用损失函数来拟合我们的模型。这就是模型选择的主观性出现的地方,因为您必须猜测不同类型的错误会花费您多少。典型的例子是癌症诊断:高估某人患癌症的可能性不好,但低估它更糟糕。
顺便说一句,如果您正在寻找有关如何选择评分规则的指导,您可能还想寻找有关选择损失函数或设计效用函数的指导,因为我认为关于这两个主题的文献很多体积更大。