例如我有一个原句。吠叫这个词对应于缺少的词。
Original Sentence : The dog is barking.
Incomplete Sentence : The dog is ___________.
例如，使用 BERT 模型，它预测单词 cry 而不是 barking。我将如何衡量 BERT 模型的准确性，即预测词在句法上的正确性和语义上的连贯性？
（例如，有很多不完整的句子，任务是根据这些不完整的句子评估 BERT 的准确性。）
换句话说，我将如何在语义方面测量两个词barking和之间的模型之间的距离crying。
请帮忙。
你只是偶然发现了 NLP 领域的一个大问题：找到完美的度量标准。
大多数传统指标（BLEU、ROUGE、...）根本不考虑barking和之间的语义距离crying。
因此，根据这些指标，与参考The dog is crying相似， .
从人类的角度来看，这是不正确的，第一句话更接近参考，因为例如第二句话没有意义。The dog is salmonthe dog is barking
人们最近试图在这个意义上提供更好的指标。您可能对BERT 分数感兴趣。
这个想法只是使用 BERT 模型（已经过预训练，因此具有一些语言知识）来计算 2 个句子的相似程度。