我正在尝试使用 BIO 注释来实现 NER。例如
"I went to the United States"
[O, O, O, B, I, I]
其中 B 和 I 表示实体的开始,“I”表示实体的后续。
但是,当我在序列的每个位置使用香草 BERT 进行分类(是否属于“B”、“I”、“O”)时,我会遇到“O”后面跟着“I”的情况。数据中没有显示('O','I')模式的案例,因为前面总是有一个'B'或'I'。显然,没有什么可以强制模型排除这种模式,但我想以某种方式将其合并到模型中(比如从“O”到“I”的转换概率为 0 或其他东西)。
我查看了 BERT 之上的条件随机字段,它试图做一些非常相似的事情,但预测不知何故仍然包含这些“O”“I”模式。