有许多措施隐含地考虑了预测的置信度。一种非常常见的是对数损失（也称为交叉熵）。

$-log \space P(y_t|y_p) = -(y_t \space log(y_p) + (1-y_t)\space log(1-y_p))$

使用这个度量，自信的正确分类比相对不太自信的正确分类得到更多的奖励，而自信的错误分类则受到严厉的惩罚。

任何适当的评分规则在应用于分类问题时都符合此标准。

其他一些例子是：

• 惊喜
• Brier 分数（如 darXider 在他的评论中提到的）
• 球形评分规则
• 对数评分规则

以及无数其他相关功能。

除了按照 Thomas 的建议比较日志概率之外，您还可以运行交叉验证并比较模型错误的均值和标准差。然后可以使用基本统计数据来比较这些分布。