想到的一个例子是ROC 曲线下的面积(AUC)。对于模型输出连续分数（例如逻辑回归或 SVM）的二元分类问题，AUC 给出了模型对随机选择的“正”实例的评分高于随机选择的“负”实例的概率。

对于评估预测性能，AUC 与其他指标/损失函数（例如误分类率、对数损失等）的作用相同。即，它将预测分数和真实标签映射到总结性能的实数。并且，它可以作为决策规则的依据；特别是作为模型选择的目标函数。更高的 AUC 更可取，因此 AUC 实际上是效用函数而不是损失函数。但是，这种区别很小，因为人们可以简单地将 AUC 乘以负一来获得选择特定模型所产生的损失。

与错误分类率、对数损失等不同，AUC 是非加性的（在问题中定义的意义上）。也就是说，如果和是第个测试用例的真实标签和预测分数，并且是任意函数，则 AUC 不能表示为$y_i$$s_i$$i$$g$$\sum_{i=1}^n g(y_i, s_i)$. 相反，AUC 是通过整合估计的 ROC 曲线来计算的，该曲线由随着分类阈值的变化而变化的真阳性率与假阳性率组成。积分通常使用 ROC 曲线上各点之间的梯形规则计算。尽管这涉及梯形的总和，但 AUC 是非加法的，因为每个梯形的面积非加法地取决于多个测试用例的预测分数和真实标签。有关详细信息，请参阅 Fawcett (2006) 中的第 7 节和算法 2。

Bradley (1997)、Huang 和 Ling (2005) 以及其他人主张使用 AUC 超过准确度（它是加法的）。尽管 AUC 已被广泛使用（例如，大约 247k google 学者的 +auc +分类结果），但也有人反对它；例如，参见 Lobo 等人。（2008 年）。

参考

• Fawcett, T. (2006)。ROC 分析简介。模式识别字母，27（8），861-874。

• 美联社布拉德利 (1997)。ROC曲线下面积在机器学习算法评价中的应用。模式识别，30（7），1145-1159。

• Huang, J., & Ling, CX (2005)。在评估学习算法时使用 AUC 和准确性。IEEE 知识与数据工程汇刊，17(3), 299-310。

• Lobo, JM, Jimenez-Valverde, A., & Real, R. (2008)。AUC：对预测分布模型性能的误导性度量。全球生态学和生物地理学，17（2），145-151。

合理的损失选择可能是效用的负面因素。在期望效用最大化 (MEU) 的框架内，我们将有附加损失，因为我们将使用平均（在测试用例集上）负损失作为对预期效用的估计。另一方面，如果我们放弃 MEU，我们可能会有非加性损失。例如，如果我们试图最大化最坏结果的效用，我们可以选择负最大值（在测试用例集上）损失作为我们目标的估计。这里的一个关键观察是最大值不是加法函数。