如果给定 AUC,则添加 ROC 图的值

机器算法验证 机器学习 分类 奥克
2022-04-08 04:26:01

我总是在论文中看到,当他们想要展示分类器的表现时,他们会提供 ROC 图和 AUC 分数。现在据我所知,只有 AUC 可以说明分类器的执行情况,那么添加 ROC 图有什么好处?从中能看出什么?

4个回答

我通常给出 ROC 图而不是 AUC:对于我的应用程序,通常很清楚需要特定或敏感的识别。ROC 对于特定但不敏感的分类器与敏感但不特定的分类器不同,而 AUC 隐藏此信息。

此外,可以将大量进一步信息放入图中,例如对阈值进行颜色编码(如果主要输出是后验概率,则检查分类器是否校准良好)、模型稳定性(重采样验证后)或置信区域一个选择的分类器(如果选择一个阈值)。最后,您甚至可以放置不需要@FrankHarrell 反对的阈值的敏感性和特异性的“扩展”度量,例如,可以扩展敏感性和特异性的概念以及 Brier 得分背后的概念以产生此类度量。

我还没有看到一个例子,图表会改变我们的行为或思维方式。我认为 ROC 图中的墨水:信息比是巨大的。但最糟糕的是,它诱使我们尝试为预测风险选择一个临界值,这是任意的,并且与最佳决策不一致。

当心分类器这个词,它意味着丢弃连续的信息。

ROC曲线是特异性/敏感性图;AUC 是曲线下面积。简而言之,ROC 曲线可能很有趣,因为它允许比较模型的敏感性/特异性行为。更简单地说:

ROC=(x,y)R2AUC=z but AUC=zROC=(x,y)R2

There is great value in showing the entire ROC esp. when comparing two different classifiers, as it helps us to see whether different curves cross each other. One is not superior to the other, overall, if they cross - see the Figure 3 (screenshot shown below) from

Seong Ho Park, J. M. G. C.-H. J. (2004). Receiver Operating Characteristic (ROC) Curve: Practical Review for Radiologists. Korean Journal of Radiology, 5(1), 11–18. Crossing ROC curves from Park et al., 2004

In our own study, we noticed this behaviour for biomarkers that have similar performance, and partial AUCs can be studied to demonstrate their utility for particular applications e.g. in high specificity regions for early detection of Alzheimer's disease.

Citation: Raamana, P. R., Weiner, M. W., Wang, L., & Beg, M. F. (2015). Thickness network features for prognostic applications in dementia. Neurobiology of Aging, 36, S91–S102.

Comparison of ROCs from different methods

Hope that helps make the case for presenting the ROC always.