NLP:有哪些流行的短语标记化包?

数据挖掘 nlp nltk 标记化
2022-03-01 02:14:15

我正在尝试将一些句子标记为短语。例如,给定

我觉得你很可爱,我想更多地了解你

令牌可以是

我觉得你很可爱

我想更多地了解你

同样,给定输入

今天很棒,但天气本来可以更好。

代币:

今天很棒

天气本来可以更好

NLTK 或类似的软件包可以实现这一点吗?

任何建议表示赞赏。

1个回答

斯派西可以做到这一点。Spacy 的语义解析器基于在大型文本语料库上训练的语言模型。

该解析器可以将句子分解为较低级别的组件,例如单词/短语。

更多细节和例子:

https://spacy.io/usage/linguistic-features

问题第一句示例:https ://explosion.ai/demos/displacy?text=I%20think%20you%27re%20cute%20and%20I%20want%20to%20know%20more%20about%20you&model=en_core_web_sm&cpu= 0&cph=0

在此处输入图像描述

在此处输入图像描述