多类分类系统中的精度和召回率?

机器算法验证 分类 精确召回
2022-03-27 14:31:56

看了维基百科,又看了一圈,还是不清楚自己在做的多标签分类问题中如何识别真阳性、真阴性、假阳性和假阴性,以便计算精度,召回和F-measure。

我有几个类别和几百个文档。训练了SVM进行分类后,我有以下数据

document 1 | actual category, category assigned by SVM
document 2 | actual category, category assigned by SVM
...
document n | actual category, category assigned by SVM

SVM 分配的类别通常与实际类别相同,但并非总是如此。真正的积极因素是

actual category = category assigned by SVM

我想误报会是

actual category =/= category assigned by SVM

但我不确定是假阳性还是真阴性。

我觉得这可能是一个基本问题,但我找不到一个清晰(足够)的例子。

1个回答

对于那些可能对答案感兴趣的人,这来自比我(NLP 博士候选人)知识渊博的来源:

在进行多类分类时,精确度和召回率实际上只针对单个类进行了正确定义(您可以跨类平均以获得整个系统的一般分数,但这并不是那么有用;在我看来,您可能会更好使用整体准确度作为性能指标)。

对于单个类,误报是那些被归类为该类但实际上不是的实例,真负是那些不是该类但确实被归类为不属于该类的实例(无论是否正确分类)。