系统如何识别两个字符串是否具有相同或相似的含义?

人工智能 神经网络 深度学习 文本分类
2021-11-05 11:30:14

系统如何识别两个字符串是否具有相同或相似的含义?

例如,考虑以下两个字符串

  1. 维基百科提供了很好的信息。

  2. 维基百科是一个很好的信息来源。

有哪些方法可以做到这一点?

1个回答

获得句子的意图并不是一件容易的事。为了让您开始做什么,请查看词向量。您还可以下载预训练的word2vec模型。它们有助于获得单词的相似性并用单词进行推理。要获得句子的意图,可以使用 LSTM。

有趣的事实是,大多数 NLP 算法去除标点符号对于大多数情况来说已经足够了,但举一个反例。

The defendant, who looked apologetic, was found guilty.
The defendant who looked apologetic was found guilty.

它们意味着不同的东西,即使使用最好的算法也很难捕捉到意图。

PS:对于那些想知道区别的人,在第二句话中似乎有两个被告,一个看起来很抱歉的人被判有罪,而另一个则逍遥法外。