1. 吴恩达 word2vec @1:29。在视频中，他选择的窗口大小不止一个。在他的示例中，如果“orange”是中心词，则目标词可以是“juice”、“glass”、“my”，它们都在 5 的窗口大小内。

在您的示例中，“猫坐在垫子上”，如果您选择窗口大小为 1，则可以获得 7 个训练样本：

(cat, sat),
(sat, on),(sat, cat),
(on, sat), (on, the), 
(the, on), (the, mat)

如果这是整个语料库，p(cat|sat)，sat作为中心词出现的概率，cat是上下文，是 0.5，p(sat|cat)，cat是中心词，sat是上下文是 1 . "cat" 和 "sat" 作为中心词的分布词表示应该是不同的。

2. “似乎对于同一个中心词，我们可以得到不同的输出：”那是因为它们预测的上下文词不止一个。

@ 31:35 224 2017 lec2，幻灯片上写着“为每个单词预测半径为 m 的周围单词”。也就是说，问题是在给定中心词的情况下找到上下文词的分布，因此对于一个中心词，模型将有多个输出词（除非您将m设置为 1 并同时指定方向）。

“我真的不明白如果你在隐藏层中使用多个权重 2，怎么可能得到不同的输出。”

@39:37 224 2017 lec2教授在矩阵输出和单词表示之间做了一个点积。它也显示在注释的顶部：“$u_o ^T v_c$"

将隐藏层 (d * 1) 乘以权重 2 (V * d) 将得到一个 V*1 向量。那是$u_o$，输出向量表示。然后我们做$u_o ^T v_c$获取每个上下文单词的输出。之后，我们应用 softmax 并将该值与上下文词的 one-hot 表示进行比较（$y$对比$\hat{y}$)，教授示例中的三个比较。

3. 这听起来像是连续词袋模型的想法。