如果一组特征 A 导致 AUC 为 0.5,则使用改进的一组特征 B 导致 AUC 为 0.75,我如何用文字表达这种改进:
- 提高 50% (0.75-0.5)?
- 提高 25% (0.75-0.5)/0.5?
这似乎是简单的统计数据,但我对这个问题感到困惑。
如果一组特征 A 导致 AUC 为 0.5,则使用改进的一组特征 B 导致 AUC 为 0.75,我如何用文字表达这种改进:
这似乎是简单的统计数据,但我对这个问题感到困惑。
我刚刚在这里发布了一个有点相关的问题:比较和量化 ROC AUC 分数的相对改进?有这个作为它的一个组成部分。
我不确定,尽管 ROC AUC 表示分类器对正例的评分高于负例的概率,也许比较优势比的大小是一种合适的比较方法。
所以不是 0.75 / 0.50,而是 (3/1) / (1/1),所以改进是 3 倍,即与旧模型相比,新模型获得正面案例的几率比负面案例高 3 倍模型。
(至此,0.50 代表随机机会,所以也许这些应该重新调整到 0.5 和 1 之间,这会改变解释。同样,当您与 ROC AUC 为 0.5 的模型进行比较时,任何改进都代表无限改进。比较这个重新调整的版本下的优势比也意味着从 0.51 到 0.59 的改进将代表与 0.91 到 0.99 相同的改进量,但是前者可能感觉更有可能随机出现 - 所以可能也想在比较 ROC AUC 时考虑一些置信度概念。)
计算您的相对改进假设为,你应该使用.
我相信在 AUC 案例中的相对改进更直观。此外,AUC 在文献中很常用,所以 AUC 和 AUROC 都可以