我需要在语料库中指定语义上接近的词。例如以下报纸/杂志:
我昨天读了[报纸/杂志]。
在这个例子中,两个词的意思很接近。我需要找到这样的词。
我怎样才能找到这些词?
为目标函数(要最大化)添加一个同义词的正则化项:
logP(wi|h)→logP(wi|h)+λ1|S|∑(i,j)∈Ssim(wi,wj)logP(wi|h)→logP(wi|h)+λ1|S|∑(i,j)∈Ssim(wi,wj)其中是同义词集合,是您的单词相似度函数(例如,余弦相似度)。SSsimsim