TL;DR：这里给出了关于为什么 word2vec/GloVe 类比嵌入似乎形成平行四边形，因此可以通过添加/减去嵌入来“解决”的理论/数学解释，如本博客所述。w2v 的更多解释在这里给出。

word2vec（或 GloVe 等）词嵌入的维度不是直接可解释的，而是捕获词统计中的相关性，这反映了有意义的语义（例如相似性），因此某些维度可能恰好是可解释的。

一个词的嵌入实际上是该词与所有其他词的共现统计的低秩投影（就像你从 PCA/SVD 中得到的一样——但这需要一个未加权的最小二乘损失函数）。

word2vec 中的投影是概率加权和非线性的，因此很难解释任何维度的“含义”。此外，如果嵌入矩阵$W$ （所有嵌入 $w_i$ 堆叠在一起）由任何旋转矩阵旋转 $R$， 和 $R^{-1}$ 应用于另一个嵌入矩阵 $C$，转换后的嵌入表现相同。所以没有一个唯一的解决方案，而是一个等价的解决方案，这意味着嵌入中的值本身并不一定有意义，只有在相对于彼此考虑时才有意义。

类比的理论解释太长，无法在这里总结，但归结为词嵌入捕获对数概率，因此添加嵌入相当于乘以概率，因此是有意义的。我认为包含链接解释是不好的形式，但是两篇链接的研究论文应该永久存在。

嵌入空间的维度只能意外解释。

然而，穿过空间的向量是可以解释的。这就是为什么在嵌入空间中可以进行词类比的原因。词向量的加/减通过嵌入空间描述另一个向量。例如，“king”-“man”+“woman”近似于“queen”向量。

单词始终用于与其他单词的关系。词嵌入可以通过找出哪些词同时出现并将这些词投影到保留最常见出现的低维空间来对这些一致的关系进行建模。