NLP和文本挖掘有什么区别?

数据挖掘 nlp 文本挖掘
2021-09-18 03:04:28

正如在这篇 Meta 帖子中与 Sean 所讨论的那样,我认为有一个问题可以帮助像我一样困惑的人,了解文本挖掘和 NLP 之间的区别!

那么,两者有什么区别 ?


我已将我的理解作为答案。如果可能的话,请用一个简短的例子来解释你的答案!

3个回答

我同意肖恩的回答。 NLP文本挖掘通常用于不同的目标。此外,确实存在重叠,两种定义都很流行。

除了目标不同,方法也不同。文本挖掘技术通常很浅,不考虑文本结构。通常,文本挖掘将使用词袋、n-gram 和可能的词干。

在 NLP 方法中通常涉及文本结构。您可以在那里找到句子拆分、词性标记和解析树构造。此外,NLP 方法提供了几种从文本中捕获上下文和含义的技术。

典型的文本挖掘方法会考虑以下句子来表示幸福,而典型的 NLP 方法检测到它们不是

  1. 我不高兴
  2. 下雨的时候我会很开心
  3. 如果下雨,我会很高兴。
  4. 她问我快乐吗
  5. 你快乐吗?

我有这个疑问很久了。所以,这里的这篇文章帮助我弄清楚了两者之间的区别。

所以,这就是文本挖掘和 NLP 之间的区别:

文本挖掘处理文本本身,而 NLP 处理底层/潜在元数据。

回答诸如单词的频率计数、句子的长度、某些单词的存在/不存在等问题是文本挖掘。

另一方面,NLP 允许您回答以下问题:- 什么情绪?- 关键词是什么?(使用 POS 标记和解析器) - 它属于什么类别的内容?- 句子中有哪些实体?和更多

只是另一种观点,更深入地挖掘主题名称。

Text mining- 文本挖掘(就像数据挖掘一样,数据是文本数据)。挖掘是关于从可用数据中提取有用信息。信息可以是文本中的模式或匹配结构,但不考虑文本中的语义。目标不是让系统理解文本传达的内容,而是基于特定的逐步过程向用户提供信息。

Natural language processing- 自然语言是人类用于交流的语言。处理这样的数据就是 NLP。数据可以是语音或文本。因此,主要目标是理解其中传达的语义是什么。现在你知道我们为什么关心演讲的语法部分以及它们之间的词汇关系了吧。

语音识别系统可能是 NLP 的一部分,但它与文本挖掘无关。而且,看起来 NLP 是更大的鱼,它使用文本挖掘,但实际上恰恰相反。文本挖掘使用 NLP,因为当您从语义上理解数据时挖掘数据是有意义的。