我正在设计一个二元分类器，并想了解如何最好地量化最终模型分类中的不确定性。设计过程包括首先训练模型，然后执行 ROC 分析，最后选择一个阈值，使得误报概率约为 0.01。所以，当一个未知样本被传入这个分类器时，它会输出一个介于 0 和 1 之间的数字，如果该数字高于阈值，则将样本分类为 1 类（C1），如果该数字低于阈值，则将样本分类为 C0。临界点。

我的问题是关于如何围绕最终分类设计置信度分数。假设我的阈值是 0.9。所以，如果模型输出分数为 0.91，那么我的样本被分类为 C1，但如果输出分数为 0.89，那么样本被分类为 C0。直观地说，考虑到这些分数，我对标签的信心应该低于模型输出分别为 0.99 或 0.01 的情况。一种可能性是简单地计算从分数到阈值的归一化 [0,1] 距离，例如：$|\hat{y} - T|/(1 - T)$对于高于阈值的预测（即，标记为 C1 的样本），以及$|\hat{y} - T|/T$对于低于阈值的预测（其中$\hat{y}$是模型输出和$T$是阈值）。一个问题是它不是对称的。也就是说，对于 0.9 的阈值，0.91 的模型输出具有 0.1 的“确定性分数”（即上面显示的计算），而 0.89 的模型输出具有 0.011 的确定性分数。

我想到的另一种可能性是漏检的概率或误报的概率，例如$\hat{y}<T$（样品分类为 C0）或$\hat{y}>T$（样本分类为 C1），分别。所以，对于 0.89 的模型输出，我会计算$FNR = 1- sensitivity$，而对于 0.91 的模型输出，我会计算$FPR = 1-specificity$，并将这些用作最终分类中不确定性的度量。

是否有其他建议的方法来计算这种分类器的不确定性？