我有两种方法/分类器（完全不同的模型），我需要决定哪一种更好。数据集不平衡。我在同一个数据集上训练了两个分类器，然后计算了 ROC-AUC 和 Precision-Recall-AUC (PR-AUC)。然后惊喜来了！
当我使用 ROC-AUC 比较它们时，方法 1 优于方法 2。
当我使用 PR-AUC 比较它们时，方法 2 优于方法 1。
现在我很困惑！如何说哪种方法更好？据我所知，如果ROC-AUC 高，那么 PR-AUC 也高。所以如果method-1的ROC曲线占优势，那么method-1的PR曲线也应该占优势。我的理解不正确吗？还是我错过了什么？因为我真的要疯了！
通常你会基于这两种测量得到相同的结论。如果模型的性能曲线（PR 和 ROC）交叉，则可能会得出相互矛盾的结论，例如，一个模型在低召回率方面更好，而另一个在高召回率方面更好。依靠像 AUC 这样的总结是好的，但不要忽视实际的曲线。
您的结果表明，在整个操作范围内，两种模型都不比另一种更好。如果您仍然想说明哪个更好，您需要更具体地说明您的优先事项：您想要高召回率、高精度、高特异性吗？（而不是询问在任何设置中哪个是最好的，例如整个操作范围）
ROC-AUC 高，那么 PR-AUC 也高。
是的，但请注意，高是相对的。根据班级余额，PR-AUC 为已经可以很优秀了。
所以如果method-1的ROC曲线占优势，那么method-1的PR曲线也应该占优势。
引用 Davis 和 Goadrich 的论文“一条曲线在 ROC 空间中占主导地位当且仅当它在 PR 空间中占主导地位”。这意味着，如果您有一个模型 A 的 PR/ROC 曲线完全高于另一个模型 B 的 PR/ROC 曲线，则 A 的 ROC/PR 曲线也将在整个范围内高于 B 的曲线。
ROC-AUC 和 PR-AUC 都是 AUC，由具有所有阈值的两个轴限制。
我们可以看到它们都以 TRP 作为一个轴，它们的区别来自另一个轴。基本上，PR-AUC 忽略了真正的否定部分，而专注于真正的肯定（两个轴的分子中都有真正的肯定，除以不同的分母）。
相比之下，ROC-AUC 则考虑了真阴性，另一轴 FPR = 假阳性 /（假阳性 + 真阴性）。
因此，当我们观察到 ROC-AUC 增加而 PR-AUC 减少时，模型在 FPR 上有所提高，而在 Precision 上却在恶化。