使用 BM25 对单词进行排序有多有效,更具体地说,我有一个单词词典,我只想对文档中也在我的词典中的单词进行排序。我想为每个文档对字典中的所有单词进行排名,然后为特定文档添加每个单词的 BM25 值。
可以说我有一个像这样的文档和字典:
myDictionary=['bad', 'dangerous','hide', 'following]
corpus=[
['human', 'intelligence', 'computer','bad', 'dangerous'],
['survey', 'user', 'human', 'system', 'time', 'hide', 'following],
]
现在我将在我的字典中的所有单词循环中运行下面的 BM25 公式,然后对每个单词的结果求和以获得每个文档的 bm25 值。