使用 BERT 来回答具有语义相似性的常见问题解答是个好主意吗?

人工智能 深度学习 自然语言处理 人工智能设计 应用 伯特
2021-11-10 12:28:40

我一直在为许多任务寻找 BERT。我想使用 BERT 语义相似性和 BERT Q/A 来比较回答常见问题的性能。但是,我不确定在这项任务中使用语义相似性是否是个好主意。如果是,你认为有可能找到一个数据集来微调我的算法吗?

2个回答

也许下面的文章可以帮助你:

使用 Query-Question Similarity 和 BERT-Based Query-Answer Relevance 检索常见问题解答 (2019)

他们在 localgovFAQ 和 StackExchange 数据集中评估他们的模型。

您可以这样做,并且您可能会找到数据,但这取决于您将应用它的常见问题解答数据的类型。更重要的是,通过比较两个 BERT 模型,你获得了什么见解?

其次,如果您的意思是使用向量空间嵌入的语义相似性,即使用于检索/排名而不仅仅是重新排名,那么我可以告诉您性能仍然不是 SOTA。但是您可以简单地使用这样的神经语义模型进行重新排名。

我们正在努力。所以如果你想知道更多,PM我。