我有几个注释者为我注释文本字符串，以便训练 NER 模型。注释以 json 格式完成，它由一个字符串组成，后跟命名实体的开始和结束索引，以及它们各自的实体类型。在这种情况下，计算 IAA 分数的最佳方法是什么？是否有可用的工具或 Python 库？
NLP 的注释者间协议得分？
数据挖掘
命名实体识别
注解
2022-02-13 18:06:49
1个回答
我认为Kappa 系数是最常用于衡量注释者间一致性的方法，但也有其他选择。
sklearn 提供了Cohen Kappa 系数的实现，可用于比较两个注释器。
其它你可能感兴趣的问题