如果 word2vec 在同一个窗口中多次遇到同一个词,会发生什么?显然,减小输入词和目标词的向量之间的距离是没有意义的。但是重复会加强重复词和上下文词之间的关系吗?
word2vec 如何处理上下文中的输入词?
数据挖掘
机器学习
nlp
词嵌入
2021-09-17 12:44:03
2个回答
我认为你的最后一个问题值得讨论,但请原谅我粗心跳过模型的细节并在这里留下一个快速的答案:P
在你的语料库中重复一个句子肯定会改变学习结果,并加强这个句子中单词的关系,因为 word2vec 背后的模型之一是skip-gram
,它假设中心词可以用来预测它的周围环境。
但我不得不问另一个问题:我们使用 word2vec 的目的是什么?
- 在语义和合成中寻找相似词,用于搜索和信息检索。
- skip-gram 模型对于对诸如点击序列数据之类的建模很有用,可用于推荐
其它你可能感兴趣的问题