在适当的评分规则中进行选择

机器算法验证 机器学习 分类 模型选择 数理统计 计分规则
2022-02-14 08:01:51

大多数关于正确评分规则的资源都提到了许多不同的评分规则,例如对数损失、Brier 评分或球形评分。但是,他们通常不会对它们之间的差异提供太多指导。(图表 A:维基百科。)

选择最大化对数得分的模型对应于选择最大似然模型,这似乎是使用对数得分的一个很好的论据。Brier 或球形评分或其他评分规则是否有类似的理由?为什么有人会使用其中一种而不是对数评分?

1个回答

为什么有人会使用其中一种而不是对数评分?

因此,理想情况下,我们总是将拟合模型做出决策区分开来。在贝叶斯方法中,模型评分和选择应始终使用边际似然来完成。然后,您使用该模型进行概率预测,您的损失函数会告诉您如何对这些预测采取行动。

不幸的是,在现实世界中,计算性能经常要求我们将模型选择和决策混为一谈,因此使用损失函数来拟合我们的模型。这就是模型选择的主观性出现的地方,因为您必须猜测不同类型的错误会花费您多少。典型的例子是癌症诊断:高估某人患癌症的可能性不好,但低估它更糟糕。

顺便说一句,如果您正在寻找有关如何选择评分规则的指导,您可能还想寻找有关选择损失函数或设计效用函数的指导,因为我认为关于这两个主题的文献很多体积更大。