QA系统中的文档检索算法

数据挖掘 机器学习 nlp 信息检索 tfidf
2022-02-26 12:03:27

我正在使用问答和机器阅读理解系统。我想在数据库中匹配问题和文档(大约 100,000 个文档)。我用过 tf-idf 但它的准确率大约是 55%,我需要至少 80%。你能给我一些建议吗?

1个回答

我仍然不太确定您如何解决 tf-idf 用于 QA 系统的问题。然而,多年来,随着深度学习用于自然语言处理,QA 领域已经进行了许多改进。

我敦促您查看以下方法,这些方法可能会帮助您达到您正在寻找的准确度:

  1. 用于求解 SQuAD 数据集的 Bidaf 模型。
  2. 用于求解 SQuAD 数据集的 BERT 模型。

您有多个开源实现来训练网络并将其用于预测。您还可以在这些网络的创建者发表的论文中了解它们。