我正在使用问答和机器阅读理解系统。我想在数据库中匹配问题和文档(大约 100,000 个文档)。我用过 tf-idf 但它的准确率大约是 55%,我需要至少 80%。你能给我一些建议吗?
QA系统中的文档检索算法
数据挖掘
机器学习
nlp
信息检索
tfidf
2022-02-26 12:03:27
1个回答
我仍然不太确定您如何解决 tf-idf 用于 QA 系统的问题。然而,多年来,随着深度学习用于自然语言处理,QA 领域已经进行了许多改进。
我敦促您查看以下方法,这些方法可能会帮助您达到您正在寻找的准确度:
- 用于求解 SQuAD 数据集的 Bidaf 模型。
- 用于求解 SQuAD 数据集的 BERT 模型。
您有多个开源实现来训练网络并将其用于预测。您还可以在这些网络的创建者发表的论文中了解它们。
其它你可能感兴趣的问题