命名实体识别的真阴性

数据挖掘 nlp 命名实体识别
2022-02-20 04:52:37

命名实体识别任务的真负数是否总是为零,因为 NER 中的 TN 意味着非实体被分类为非实体?

Actual Entity [Microsoft Corp.] 首席执行官 [Steve Ballmer] 今天宣布发布 [Windows7]

模型预测 [Microsoft Corp.] [CEO] [Steve] Ballmer 宣布发布 Windows7 [今天]

上例中的 TN 是什么?

1个回答

根据定义,真正的否定是文本中的非实体标记,由黄金标准认可。所以;

TN:5 = {宣布,发布,的}

但是,在实践中,真正的否定标记的数量非常多,这在很大程度上主导了指标,任何使用 TN 的度量(如准确性)都会引起很大的争议。相反,首选更好的指标:

  • 回忆:TP/(TP+FN) - 覆盖所有正确的实体,以及
  • 精度:TP/(TP+FP) - 阳性结果的可靠性
  • F1 分数(准确率和召回率的调和平均值)可以用作平衡指标。