对于未标记的数据集，可以主观或客观地比较无监督异常检测器。

1. 主观比较：基于我们的领域知识，通过使用一些可视化和统计，我们可以比较两个检测器，并主观地选择一个输出更好异常的检测器。

   1. 这是一项关于无监督异常检测器的广泛引用调查，该调查使用 AUC 比较了标记数据集（具有已知的、特定于域的异常值）上的算法，并得出结论，本地检测器（例如 LOF、COF、INFLO 和 LoOP）不是全局异常检测的良好候选者： 2016 A Comparative Evaluation of Unsupervised Anomaly Detection Algorithms for Multivariate Data

2. 客观比较：理论上可能，实践中不可能。

客观比较的要求：

1. 异常定义：$x$是一个异常，如果$P(x)< t$对于某个阈值$t$,

2. 异常检测器要求：$D$是一个异常检测器，如果对于每个检测到$x$,$P(x)< t$,

3. 比较异常：$x_1$比_ _$x_2$如果$P(x_1)<P(x_2)$或等效地$r(x_1, x_2) = P(x_1) / P(x_2) < 1$,

4. 比较异常检测器：提案$x_1$从探测器$D_1$好于$x_2$从$D_2$如果$r(x_1, x_2) < 1$,

如您所见，为了对两个检测器进行鉴定和比较，我们需要了解底层$P(x)$或者至少$r(x_1, x_2)$. 但是如果我们知道这些数量（作为 判断 $J$) 或者至少对它们进行了足够接近的估计，我们就有了更好的异常检测器$J$并且可以扔$D_1$和$D_2$离开！我们插入任何观察$x$或一对观察$x_1$和$x_2$进入$J$并检查哪个是异常或哪个更异常，完成！因此，除非我们有更好的异常检测器（法官），否则不可能客观地比较两个异常检测器。所以我们应该使用主观比较。