神经网络语言模型 - 预测中心词还是上下文词右边的词？
在 Bengio 的论文中，该模型通过 n 个词预测下一个词的概率，例如预测“book”、“car”等的概率，通过它之前的 n 个词，如“this”、“is”、“a”， “好的”。然而，在 NLP 中的标记问题中，就像 Collobert 的论文中的那些问题一样，一个常见的设置，即窗口模型，是通过周围的词对中心词进行标记预测。
是否有一些关于神经网络语言模型的研究，用于通过周围的词来预测中心词的概率，比如通过上下文词“this”、“is”来预测中心词的概率，如“a”、“the”（在左）和“好”、“车”（右）？
在文本中查找缺失单词的任务有时称为文本插补或句子完成。
一篇使用 ANN 进行探索的论文：使用递归神经网络解决文本插补问题。阿拉希玛尼。CS224D 报告。2016. http://cs224d.stanford.edu/reports/ManiArathi.pdf
在本文中，我们已经证明双向 RNN 在针对我们的缺失数据问题测试的三个模型中产生了最好的 Levenshetein 和 perplexity 分数.
一篇论文比较了包括 RNN 在内的几种方法：Zweig、Geoffrey、John C. Platt、Christopher Meek、Christopher JC Burges、Ainur Yessenalina 和 Qiang Liu。“句子完成的计算方法。” 在计算语言学协会第 50 届年会论文集：长论文-第 1 卷，第 601-610 页。计算语言学协会，2012 年。https ://scholar.google.com/scholar?cluster=4615153328130310080&hl=en&as_sdt=0,22 ；http://www.aclweb.org/anthology/P/P12/P12-1063.pdf
本文通过回答SAT风格的句子完成问题来研究句子级语义连贯性问题
您所描述的是 Tomas Mikolov 的 Word2vec 模型 Word2vec。他的实现有两部分：Skip-gram 模型和 CBOW 模型。纸在这里
CBOW，这就是你所需要的，被训练来从它周围的上下文词 c 中预测目标词 t，即目标是在训练集上最大化 P(t | c) Quora 在他的论文中很好的解释