我有三个分类器将一些单词分为四类。不属于这四个类别中的任何一个的每个单词都被归类为“No Answer”。我想将分类器与 Precision、Recall 和 F1-Score 进行比较。我是否必须忽略“No Answer”类来计算平均精度等等，还是包括它很重要？
将多类分类器与“No Answer”类进行比较
数据挖掘
机器学习
分类
多类分类
评估
命名实体识别
2022-03-09 11:40:11
1个回答
精度、召回率和 F1 分数仅针对二元情况（2 类）定义，因此如果要将其应用于多类情况，则需要应用一个技巧。一个典型的技巧是平均每个类别的召回率：每个类别，您计算该类别中实际正确分类的单词的哪一部分。balanced_accuracy_score()在 scikit-learn 中，它会自动为您完成。
召回不考虑误报，所以如果你有模型应该说“没有答案”的词（即有基本事实是“无类”的词），那么你应该考虑那个类。否则，模型只需对它给出的所有单词进行拍摄，而不是将任何单词归类为“无类”，这将有利于模型。