我知道 f-measure(基于精度和召回率)是对分类器准确度的估计。此外,当我们有一个不平衡的数据集时, f-measure 优于准确性。我有一个简单的问题(更多的是使用正确的术语而不是技术)。我有一个不平衡的数据集,我在实验中使用了 f-measure。我即将写一篇不适合机器学习/数据挖掘会议的论文。因此,在这种情况下,我可以将 f-measure 与准确性同义吗?例如,我的 f 度量为 0.82,那么我可以说我的分类器实现了 82% 的准确预测吗?
f-measure 是准确度的同义词吗?
机器算法验证
机器学习
分类
数据挖掘
不平衡类
准确性
2022-03-28 20:18:47
2个回答
首先,我发现“准确性”有时有点误导,因为它指的是不同的事物:
用于评估系统或方法的一般术语准确性(我是分析化学家)是指预测的偏差,即它回答了平均预测有多好的问题。
如您所知,有许多不同的性能度量可以回答分类器性能的不同方面。其中之一恰好也被称为准确性。如果你的论文不适合机器学习/分类的读者,我建议你把这个区别说得很清楚。即使对于准确性的这种更具体的含义,我也会非常明确地说明我所说的准确性,因为可能会出现几种处理类别不平衡的方法。通常,类不平衡被忽略,导致众所周知的计算。但是,您也可以使用敏感性和特异性的平均值,这相当于通过加权平均值来控制类别不平衡。
F 分数通常作为精度和召回率(或正预测值和灵敏度)的调和平均值引入。对于您的问题,我认为进一步说明并简化它会有所帮助:
最后一个表达式不是我能想到的某组测试用例的一小部分。特别是,预计 TRUE 和 POSITIVE 案例之间会出现(大量)重叠。这将使我无法将 F 分数表示为百分比,因为那种意味着一定比例的案例。实际上,我想我会警告读者,F-score 没有这样的解释。
快速回答:
不,F-measure公式不包含TN因子,它对检索问题(doc)很有用。
因此,它是 ( F-measure) 评估不平衡数据集或在检索问题情况下的正确方法,而不是accuracyand ROC。
Accuracy = (TP+TN) / (TP+FP+FN+TN)
F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)
[注意]:
Precision = TP / (TP+FP)
Recall = TP / (TP+FN)
其它你可能感兴趣的问题