NLP - Python 中的释义提取

数据挖掘 Python nlp 文本挖掘 文本生成 文本过滤器
2021-09-27 14:05:49

我正在尝试开发一个 NLP 模型,它需要类似you have high levels of cholesterol(这将是一个标签)作为输入,并且必须输出类似you have high levels of cholesterol, you need to have a low-salt diet that emphasizes fruits, vegetables and whole grains; limit the amount of animal fats and use good fats in moderation(这将是建议;这是医生的示例建议)。

所以,现在当我研究如何实现这一点时,我偶然发现了这篇研究论文,我从中学到了一些东西paraphrase extraction,而且我需要建立一个带有标签和建议的平行语料库。

我想在 Python 中做到这一点。我在互联网上找不到太多关于如何在 Python 中完成释义提取的信息,但是有很多文章谈论释义检测和其他事情。
那么,我们在 Python 中是否有任何用于此目的的库(感谢任何形式的帮助)?
我如何为同样的目的建立语料库?

1个回答

释义检测仍然是一个非常活跃且非常具有挑战性的研究领域,因此不太可能有完整的标准库来完成这项任务,因为对于这个问题仍然没有明确的“最佳解决方案”。

为了建立一个语料库,您可能想看看以前共享任务/竞赛是如何完成的。我至少知道SemEval,它经常提出与释义相关的任务(可能还有其他任务)。我没有检查,但通常任务的概述文件(例如这里)解释了语料库是如何构建的,并介绍了参与者提交的主要方法。