简单的precision/recall/F-score非常适合不平衡的数据。当然，它应该在少数类上计算。

• 精度表示在预测少数类中的实例时系统正确的频率。
• 召回率表示系统检测到属于少数类的实例的频率（这通常是数据不平衡时最难的部分）
• 像往常一样，F-score 可以用作精度和召回率的“汇总指标”。

ROC 和 AUC（也基于精确率/召回率）只能与软分类器一起使用，即当系统预测数值而不是二进制标签时。

宏观/微观/加权平均（通常超过 F 分数）是无关紧要的：对两个类别进行平均会考虑到很容易预测的多数类别，因此它会掩盖有关少数类别的有用信息。

这取决于您要解决的用例。假设在医疗保健中，您将其用于医疗诊断召回可能会优先考虑，因为假阴性可能会非常有害，但是在用例中，您提到欺诈检测，假阳性和假阴性都会产生可怕的影响，您会查看 F1 分数

F1 分数是我进行模型比较的主要指标，尤其是在使用不平衡数据集评估模型时。准确度显然是不可能的，ROC-AUC 在类别不平衡下也有偏差（1）。如果您喜欢更高的精度或更高的召回率，您还可以调整广义 F-beta 分数 ( 2 ) 中的 beta 参数，但我通常会寻找平衡，因此在我的情况下 beta 始终为 1。Matthews Correlation Coefficient (MCC) 也受到一些人的强烈推荐，尽管我没有亲自使用过。