有人可以解释曲线下的区域对于完全没有统计知识的人意味着什么吗?例如,如果一个模型声称 AUC 为 0.9,这是否意味着它在 90% 的时间内做出了准确的预测?
没有统计知识的人的 AUC
即使有统计知识,AUC 也很难理解和解释。如果没有这些知识,我会坚持以下程式化的事实:
- AUC 接近 0.5 意味着模型性能并不比随机分类受试者好。将样本标记为正负并不比愚蠢的随机数生成器更好。
- 一些人使用 AUC 来比较模型。
- 较高的 AUC 表明在分类中表现出更好的表现。
- AUC 是一个嘈杂的指标
- Max AUC 为 1,对于永远不会出错的分类模型
- 尽管从技术上讲 Min AUC 为 0,但 AUC 小于 0.5 没有什么意义。AUC 为零意味着通过从正面标签到负面标签的简单切换,您可以获得完美的分类
为了使事情变得相当简单,AUC 为 0.9 意味着如果您从每一类结果中随机选择一个人/事物(例如,一个人患有疾病,一个人没有),则有 90% 的机会来自感兴趣的类别(被建模的组,这里是那些患有疾病的人)具有较高的值(或者如果感兴趣的事物与参考或默认类别相关联,则这可能是较低的值)。
因此,如果使用身高预测“男性”与“女性”的 AUC 为 0.9,这意味着如果随机选择男性和女性,90% 的情况下男性会更高。
分类器是根据个体的某些特征将个体分配到类别(“正面”或“负面”)的标准。
一些分类器会为每个人提供一个介于和之间的数字,其中表示“完全确定它是负面的”,而 1 表示“完全肯定它是正面的”。我们通常将作为我们认为“积极”和我们认为“消极”之间的阈值,但情况并非总是如此。
采用较低的阈值会导致更多的真阳性,但也会导致更多的假阳性。采用更高的阈值将减少误报的数量,但我们也会将一些实际为正的情况保留为负(因此也减少了真正)。所以最后,既然没有分类器是完美的,那就是两者之间的折衷。
ROC 曲线中的每个点代表我们可以选择的每个可能阈值的真假阳性率。AUC 是该曲线下方的面积。高 AUC 表示模型可以在不损失太多 TPR(真阳性率)的情况下获得良好的 FPR(假阳性率),反之亦然。(注意,如果您获得高 TPR,ROC 曲线下方的区域会很大已经接近 0 的 FPR)。
简化示例:假设您想使用一个人的身高来确定他们是男人还是女人。您的分类器将选择某个身高并预测高于身高的每个人都是男性,低于身高 X 的每个人都是女性。
如果您选择一个非常高的值,例如 m,您几乎不会误将女性标记为男性,但您也会“错过”许多男性。另一方面,如果您选择 m这样,您将正确识别几乎所有男性,但您也会将很多女性归类为男性。对于您可以选择的每个,您将获得不同的真假阳性率,但这最终是一种任意选择,具体取决于您最担心的错误类型。
在这种情况下,我们可以用不同的 TPR 和 FPR 绘制 ROC 曲线,然后 AUC 会让我们了解我们希望使用高度获得的分类器有多好(与我们可能想到的其他分类器相反使用体重、年龄、血压等信息……)。(见user215517的回答)
继@Nuclear Hoagie 的评论之后,模型的 ROC 曲线是通过使用一系列阈值来声明正面或负面来评估分类器来生成的。AUC 表示整个可能阈值范围内的曲线下面积。通常,只有有限范围的阈值才是真正令人感兴趣的。在这种情况下,AUC 可能不是比较模型的最佳方式。