假设我有一个二元分类器。我计算 ROC 以选择一个理想的阈值，比如 0.6。然后，我查看 AUC。
可是等等！如果选择 0.6 阈值不会改变 AUC，那么是什么让 AUC 成为如此出色的指标？
AUC 对所有阈值求和。
所以我的问题是：
为什么我们关心模型将如何作为所有阈值的总和执行？我们不只是最终想要一个门槛吗？
如果用 ROC 来求阈值，但 AUC 是阈值不变的，为什么要使用 AUC？
数据挖掘
分类
公制
奥克
鹏
2022-02-19 01:08:16
2个回答
粗略地说，这取决于你的目的。
AUC 用于数学目的（粗略地说）。这是模型质量的一个特征。这取决于您的数据和您作为模型构建者的技能。
阈值用于业务目的（粗略地说），用于制定业务决策。比如说，你的模型输出是用户流失的概率。然后，您需要做出业务决策，以特殊方式解决哪个用户（前 5% 或前 10% 的潜在流失者）。在这里你需要使用一个阈值。
他们担任不同的角色。的阈值使您可以考虑的概率相同的标签，但其中一个比另一个更容易错过真正的标签。通过考虑预测的标签，而不是概率，您丢弃了该信息。
如果您关心的只是标签输出，则无需担心预测概率。你设置你的阈值，让你的人工智能软件做出分类决定，比如敲响蜂鸣器或寻呼值班医生。正如我评论中的链接所描述的那样，您更有可能对预测的概率感兴趣。然后，您将关注考虑概率值的性能指标。ROCAUC 就是这样一个指标，它是所谓的正确评分规则的一个例子。更好的是严格正确的评分规则，例如 log loss 或 Brier score。
AUC 相对于严格正确的评分规则的一个优势是它在一定程度上具有绝对规模。并知道您有一个好的模型可能比评估特定的对数损失或 Brier 分数更容易。但追求真实概率的是严格适当的评分规则，而不是 AUC，也绝对不是基于阈值的指标，如准确性、敏感性、特异性和分数。
其它你可能感兴趣的问题