我在理解它时遇到了同样的问题。似乎所有 C 项的输出分数向量都是相同的。但是每个 one-hot 表示的向量的误差差异会有所不同。因此，误差向量用于反向传播以更新权重。

请纠正我，如果我错了。

来源：https ://iksinc.wordpress.com/tag/skip-gram-model/

在这两个模型中，输出分数取决于您使用的分数函数。可以有两个评分函数 softmax 或负采样。因此，您使用 softmax 得分函数。您将获得 N*D 的评分函数大小。这里 D 是词向量的维度。N 是示例的数量。每个单词就像神经网络架构中的一个类。

在skip-gram模型中，一个单热编码词被馈送到两层浅层神经网络。由于输入是 one-hot 编码的，因此隐藏层仅包含输入隐藏权重矩阵的一行（假设$k_{th}$行，因为$k_{th}$输入向量的行是一）。

每个单词的分数由以下等式计算。

$u = \mathcal{W'}^Th$

其中 h 是隐藏层中的向量，并且$\mathcal{W'}$是隐藏的输出权重矩阵。计算后$u$ $\mathcal{C}$计算多项式分布，其中$\mathcal{C}$是窗口大小。分布由以下等式计算。

$p(w_{c,j} = w_{O,c}|w_I)=\frac{\exp{u_{c,j}}}{\sum_{j'=1}^V\exp{u_{j'}}}$

正如你所看到的所有$\mathcal{C}$分布不同。（更多信息：https ://arxiv.org/pdf/1411.2738.pdf ）。事实上，如果他们使用类似下图的东西，这会更清楚。

总之，只有一个源向量$u$. 然而，$\mathcal{C}$使用 softmax 函数计算不同的分布。

$\textbf{References:}$

• 欣荣，Word2Vec 参数学习讲解