混淆矩阵可用于测量具有固定阈值的特定分类器的性能。给定一组输入案例，分类器对每个案例进行评分，高于阈值的分数标记为第 1 类，低于阈值的分数标记为第 2 类。

另一方面，ROC 曲线在不固定阈值的情况下检查分类器的性能。给定一组输入案例，分类器对每个案例进行评分。然后通过测试每个可能的阈值并将每个结果绘制为曲线上的一个点来生成 ROC 曲线。

当您想在一系列敏感性/特异性上测试分类器时，ROC 曲线很有用。这可能是也可能不是一个可取的事情。也许您想要非常高的灵敏度并且不太关心特异性 - 在这种情况下，AUC 指标将不太理想，因为它会考虑具有高特异性的阈值。另一方面，可以使用已知会产生高灵敏度的固定阈值生成混淆矩阵，并且只会针对该特定阈值进行评估。

混淆矩阵评估具有固定阈值的特定分类器，而 AUC 在所有可能的阈值上评估该分类器。