二元分类器:
假设我已经建立了一个二元分类器并确定了一个操作点。并让分类器在生产数据上运行。此分类器返回两个类中的每一个的概率分数。
可以肯定地说,对于分类器返回接近操作点的概率分数的生产/样本外实例,分类器对这些实例感到困惑吗?
此外,如果我收集分类器分数接近操作点的那些实例。并将其与我的训练数据进行比较。可能有两种情况:
与训练数据相比,“令人困惑”的实例具有显着不同的分布。在这种情况下,我的分类器没有故障。如果可能的话,我应该手动标记这些实例并重新安装分类器。
“令人困惑”的实例与我的训练数据具有相似的分布。在这种情况下,我的分类器有问题。这个案子可能会产生什么影响?但我相信这个案例会在训练时被捕获。这样的例子在基数上会非常少。
如果上述思维过程是正确的。我们如何将其扩展到多类分类器?