正确表达 AUC 的改善?

机器算法验证 术语 奥克
2022-03-23 09:18:45

如果一组特征 A 导致 AUC 为 0.5,则使用改进的一组特征 B 导致 AUC 为 0.75,我如何用文字表达这种改进:

  1. 提高 50% (0.75-0.5)?
  2. 提高 25% (0.75-0.5)/0.5?

这似乎是简单的统计数据,但我对这个问题感到困惑。

3个回答

您可以等效地使用以下表达式:

说到正确的术语,应该使用 AUROC(如果这是您的指标)而不是 AUC,因为后一个术语是模棱两可的。

我刚刚在这里发布了一个有点相关的问题:比较和量化 ROC AUC 分数的相对改进?有这个作为它的一个组成部分。

我不确定,尽管 ROC AUC 表示分类器对正例的评分高于负例的概率,也许比较优势比的大小是一种合适的比较方法。

所以不是 0.75 / 0.50,而是 (3/1) / (1/1),所以改进是 3 倍,即与旧模型相比,新模型获得正面案例的几率比负面案例高 3 倍模型。

(至此,0.50 代表随机机会,所以也许这些应该重新调整到 0.5 和 1 之间,这会改变解释。同样,当您与 ROC AUC 为 0.5 的模型进行比较时,任何改进都代表无限改进。比较这个重新调整的版本下的优势比也意味着从 0.51 到 0.59 的改进将代表与 0.91 到 0.99 相同的改进量,但是前者可能感觉更有可能随机出现 - 所以可能也想在比较 ROC AUC 时考虑一些置信度概念。)

计算您的相对改进假设为x,你应该使用x=(0.750.5)/0.5.

我相信在 AUC 案例中的相对改进更直观。此外,AUC 在文献中很常用,所以 AUC 和 AUROC 都可以