我有一个包含两类元素的数据集。我还有两种方法可以为数据集中的每个元素分配（互补）概率属于任一类。
鉴于我使用概率（而不是硬 0,1 分类值），我被指出将评分规则作为评估哪种方法表现更好的一种方式。两个最常用的规则似乎是：
对数损失显然是标准方法（是吗？）。我还找到了 roc_auc_scorescikit-learn的
一个实现：
这似乎做几乎相同的事情。
我的问题是：其中任何一个在某种形式上本质上是否比另一个“更好”？我也可以只使用这三个。这是可取的吗？
选择取决于您计划如何使用该模型。有许多潜在的严格正确的评分规则（AUC 不是一个）。他们有效地对概率尺度的不同部分赋予了不同的权重，同时仍然满足在真实概率下具有最优值的要求。
我发现 Andreas Buja、Werner Stuetzle 和 Yi Shen 的报告“二元类概率估计和分类的损失函数：结构和应用”对思考这个问题很有帮助。作者表明，概率截止值的选择等同于假阳性和假阴性分类的相对成本的选择。然后，它们提供了一种方法来定制损失函数以满足相对成本的不同选择。
所以评分规则的选择可能最好考虑模型的最终使用。如需更多详细信息，无需进入完整的 48 页报告，请参阅此处和此处的相关答案。
对数丢失的问题在于，它会在以高置信度完全错误的单个示例时给予任意高的惩罚。有一些方法可以解决这个问题，但它会使度量对单个样本非常敏感，这可能是不可取的。