我很好奇,对于 Google 的 word2vec 类比计算,减去向量(如 [man – woman] 中的)有什么作用?这是衡量两个向量差异程度的标准吗?也是
男人 – 女人(大约)= 国王 – 王后
说男人和女人之间的差异(大约)与国王和王后之间的差异相同?
我很好奇,对于 Google 的 word2vec 类比计算,减去向量(如 [man – woman] 中的)有什么作用?这是衡量两个向量差异程度的标准吗?也是
男人 – 女人(大约)= 国王 – 王后
说男人和女人之间的差异(大约)与国王和王后之间的差异相同?
是的,这就是我对他们解释的理解;这就是为什么你会期望(如观察到的那样)那个[man] - [woman] + [king] ≈ [queen]
, 或[Paris] - [France] + [China] ≈ [Beijing]
.
这个想法可能是向量大约是它们的语义成分的总和,因此它[king]
包括“男性”成分以及“统治者”、“人”和其他任何东西,并且[queen]
具有基本相同的成分集,除了它具有“女性” ” 而不是“男性”。[man] - [woman]
然后将结束于["male"] - ["female"]
,因此将其添加到[king]
只会将“男性”概念换成“女性”。
我有点怀疑是否有比这更完整的理解,尽管我并不熟悉有关该主题的所有文献,并且有人可能已经对其进行了更详细的研究。
实际上,在理解向量的加法/减法如何工作方面,最近有一些理论进展。看这里:
http://andyljones.tumblr.com/post/111299309808/why-word2vec-works http://arxiv.org/abs/1502.03520
我会在这里做一个总结——但我认为我不能在他的博客中比安迪做得更好!