任何用于精确/召回的软版本?

机器算法验证 精确召回
2022-04-12 05:53:06

ye-olde 精度和召回指标是否有“软”版本?给定二元决策,定义精度(和召回),即

precision=sum(marked_as_positive* is_positive)/sum(marked_as_positives)

其中marked_as_positive 等于0 或1。有没有人遇到过使用概率而不是二元决策的版本,即

sum(P(is_positive)*is_positive)/sum(P(is_positive))

其中 P(is_positive) 介于 0 到 1 之间,表示某个分类器指定的给定样本为正的概率?

我知道 logloss、AUC 和类似的“软”指标,但由于某种原因从未遇到过上述指标——这让我怀疑使用它有什么问题。

1个回答

有不同的场景使这种“部分类成员资格”(以不同的方式)对于预测[非常简单] 和参考都是明智的。

遥感讨论了“混合像素问题”,它不是概率,而是模糊集合中的分数——真正的类是混合的,因为[空间]分辨率低。有关文献,请参见下面链接的论文中的参考文献。

我一直在从化学计量学的角度研究“软”品质因数,并在我的博士期间进行医学应用(并且在我们有两种概率的情况下,因为参考诊断并不完全确定类和纯类的混合作为在测量体积中,出现了几类细胞)。在这种情况下,我发现最好在派生的品质因数中整理出乐观/悲观(如乐观/悲观偏见):概率和混合参考中的不确定性转化为品质因数的范围,即根据观察到的参考和预测标签。


您对 AND 运算符的乘法(精度 = 通过参考所有预测为真的案例预测为真且为真的案例的分数)导致上述预期精度。


顺便说一句:期望可以以与 Brier 的分数(适当的评分规则)和典型的回归误差品质因数密切相关的方式表达。