如何从书籍(如 Facebook 的 bAbI)中生成用于问答的数据集?

人工智能 自然语言处理 训练 数据集 聊天机器人 问答
2021-11-16 18:40:16

我想训练一个聊天机器人来回答书中的问题。我正在尝试使用动态内存网络来做到这一点。

如何生成数据集,就像 Facebook 在bAbI 任务中所做的那样,以便它可以解决数据集上的各种问题?

2个回答

如果您在生成模型的意义上谈论“生成”,那是相当困难的。因为我们仍然远远超出了对问答的实际结构的理解。

即使是最先进的问答方法也无法在babi这样的数据集上取得好成绩,20 个任务中的 16 个可以解决。

这个由 Facebook AI Research 维护的存储库讨论了他们如何从故事中生成 QA。

本质上,他们试图模拟读者阅读故事的方式。他们还跟踪读者在阅读时吸收的知识。然后他们根据所吸收的知识提出一个问题,以评估读者是否可以根据他所拥有的知识进行逻辑推理。