主题建模会被归类为 NLP 还是 NLU?

数据挖掘 nlp 词嵌入 主题模型
2021-09-19 01:37:07

我最近开始了我进入 NLP 世界的旅程,这真是一段旅程。我目前正在尝试了解主题建模是否会被视为 NLP 或 NLU。

最初我会假设主题建模将被归类为 NLP。但是,如果我们使用词嵌入进行主题建模,那么它是否会被归类为 NLU,因为我们对向量空间中的词如何相互关联有了更深入的了解?

也许我在表述 NLP 和 NLU 之间的内在差异时遇到了麻烦,我们什么时候在两者之间划清界限?

您对此事的见解将不胜感激。

1个回答

也许我在表述 NLP 和 NLU 之间的内在差异时遇到了麻烦,我们什么时候在两者之间划清界限?

这里有一个混淆:NLP 是处理自然语言的整个 AI 领域。它几乎包括与处理语言数据相关的任何任务(通常主要是书面数据,但这不是重点)。主题建模是这些任务之一。

NLU是自然语言理解的问题,通常被认为是NLP的主要目标之一。如果有的话,NLU 是 NLP 试图解决的一个问题,即 NLP 大领域的一个子主题。

另请注意,使用词嵌入可以改善事情,但它并不能解决与语义相关的所有困难,远非如此。


[编辑] NLU 的范围没有严格定义:在最广泛的定义中,它包括与从文本中提取含义模糊相关的任何内容,并且在这个非常宽泛的意义上,主题建模将与它有或没有嵌入(和许多其他 NLP 任务也是如此)。维基百科说:

概括性术语“自然语言理解”可以应用于各种计算机应用程序,从小型、相对简单的任务(例如向机器人发出的短命令)到高度复杂的工作(例如完全理解报纸文章或诗歌段落) . 许多现实世界的应用程序介于这两个极端之间,例如用于自动分析电子邮件的文本分类以及将它们路由到公司中合适的部门不需要深入理解文本。

但最普遍接受的 NLU 定义更为严格,它只考虑在相当复杂的环境中直接涉及文本解释的任务。典型的例子是亚马逊Alexa、OK Google、苹果Siri等“虚拟助手”。从这个意义上说,主题建模只是一项完全不同的任务,无论“理解程度”如何。