对敏感性、特异性和 ROC 曲线下面积 (AUC) 感到困惑

机器算法验证 交叉验证 模式识别
2022-04-18 11:48:12

只需阅读一篇未发表的论文以供审查。报告的结果如

留一法交叉验证灵敏度为 95%。留一法交叉验证特异性为 100%。留一法交叉验证 AUC 为 1。

这可能吗?

如果 AUC 为 1,是否意味着敏感性和特异性都应为 100%?只是无法理解他们是如何得到这种结果的。

如果可能,那么如何解释结果?

2个回答

AUC 的另一种解释是它给出了随机选择的正面排名高于随机选择的负面的概率(参见,例如,维基百科)。因此,当且仅当所有正面都排在所有负面之上时,AUC 为 1。但是,通过选择次优的截止值,仍然可以获得低于 1 的灵敏度或特异性。

例如,让我们考虑一个有 4 个受试者的测试用例和一个预测概率(为正的)的算法,如下所示:

TruthProbabilityP0.9P0.4N0.2N0.1
所有正数都排在所有负数之上,因此 AUC 为 1。但是,如果将截止概率设置为0.5,其中一个阳性被归类为阴性,因此灵敏度只有50%. 实际上,取决于截止值,灵敏度和误报率(1具体)如下。
Cutoff in rangeSensitivity1 Specificity(,0.1]11(0.1,0.2]10.5(0.2,0.4]10(0.4,0.9]0.50(0.9,)00

如下图所示。可能的(灵敏度,1特异性)组合绘制为红色圆圈,(插值)ROC 曲线绘制为绿线。整个单位正方形都在曲线下,因此曲线下面积为1。

示例的 ROC 曲线

AUC=1 意味着对于 [0,1] 中的所有特异性,灵敏度为 1。获得 95% 的灵敏度是不可能的。所以那篇论文报告了一个根本性的错误。希望这可以帮助。