Kaggle 比赛的 AUC ROC 指标

数据挖掘 机器学习 分类 阶级失衡 卡格尔
2021-10-09 10:42:07

我正在尝试通过处理来自Kaggle 比赛的数据集来学习数据建模。由于比赛在 2 年前结束,我在这里问我的问题。比赛使用 AUC-ROC 作为评价指标。这是一个有 5 个标签的分类问题。我将其建模为 5 个独立的二元分类问题。有趣的是,数据在标签之间高度不平衡。在一种情况下,存在 333:1 的不平衡。我做了一些研究来解释 AUC-ROC 指标。在我的研究中,我发现了这个这个. 这两篇文章基本上都说 AUC-ROC 不是用于不平衡数据集的好指标。所以,我想知道他们为什么要使用这个指标来评估竞争中的模型?在这种情况下,它甚至是一个合理的指标吗?如果是,为什么?

1个回答

正如您在研究中看到的那样,AUC ROC 优先考虑使预测的顺序正确,而不是逼近真实频率。

通常,就像您链接到的信用卡欺诈问题一样,一两个误报的影响比许多误报更具破坏性。如果这些类是不平衡的,就像他们在欺诈案件中一样,AUC ROC 是个坏主意。

看来,在您所指的比赛中,主持人更感兴趣的是标记哪些评论比其他评论更具毒性,而不是评价它们各自的毒性有多大。这是有道理的,因为实际上标签是主观的。