机器算法验证 - 了解 Word2Vec - 吾爱随笔录

机器算法验证 word2vec 词嵌入词袋

2022-04-09 11:46:15

我正在尝试理解 word2vec 算法（Mikolov 等人），但有几件事我不明白。

我知道来自输入层或隐藏层的激活是线性的，并且 $\mathbf{h}$ 只是所有线性组合的平均值 $\mathbf{x}_{ik}$ 向量。此外，我了解每个节点的最终输出 $y_i$ 输出向量的 $\mathbf{y}$ 只是 $\text{softmax}$ 从隐藏层到输出层的激活函数。

我不明白的是我的实际词向量到底是什么？我目前只看到一种可能性，那就是采取以下任一列 $\mathbf{W_{V\times N}}$ 或行 $\mathbf{W'_{N\times V}}$ 因为我假设这些权重现在是该算法的“信息承载”实体。

我对这个假设是否正确？

独立于此，我想了解谷歌如何设法训练他们的谷歌新闻词向量模型。

从网站：

我们正在发布在部分 Google 新闻数据集（约 1000 亿字）上训练的预训练向量。

如果使用 one-hot 编码向量进行训练，这简直是疯了。这意味着每个输入矩阵 $\mathbf{W_{V\times N}}$ 将会 $(1 \times 10^{11}) \times 300$ 在尺寸方面！？

这引出了我的最后一个问题：难道不能使用低维向量吗？在我脑后的某个地方，我有一个想法，您可以简单地为词汇表中的所有给定单词随机初始化单词向量，然后对其应用 word2vec。然而，这也意味着不仅权重必须更新，而且每个输入词的词向量也必须更新。是这样的事情真的完成了还是我在这里完全弄错了？

1个回答

我的实际词向量到底是什么？

实际的词向量是隐藏的表示 $h$ 基本上，将一个热向量与 $\mathbf{W_{V\times N}}$ 会给你一个 $1$ $\times$ $N$ 向量，它表示您输入的一个热门词的词向量。

在这里，我们乘以一个热 $1$ $\times$ $5$ 用突触 1 说“鸡” $\mathbf{W_{V\times N}}$ 得到向量表示： $1$ $\times$ $3$

基本上， $\mathbf{W_{V\times N}}$ 以查找表的形式捕获隐藏的表示。要获得查找值，请乘以 $\mathbf{W_{V\times N}}$ 用那个词的一个热点。

这意味着每个输入矩阵 $\mathbf{W_{V\times N}}$ 将会 $(1 \times 10^{11}) \times 300$ 在尺寸方面！？

对，那是正确的。请记住两件事：

难道不能使用低维向量吗？

我假设您的意思是使用像 [ 1.2 4.5 4.3] 这样的向量来表示“鸡”。将其输入网络并对其进行训练。似乎是个好主意。我无法充分证明这一推理的合理性，但我想指出以下几点：

One Hots 允许我们一次只激活一个输入神经元。因此，单词的表示下降到仅针对该单词的特定权重。在这里，“果汁”的热门话题是每个突触仅激活 4 个突触链接。
使用的损失函数可能是交叉熵损失，它通常采用一种热表示。这种损失函数严重惩罚了由一个热表示辅助的不正确分类。事实上，大多数分类任务都使用一个带有交叉熵损失的热点。

我知道这不是一个令人满意的推理。

我希望这可以解决一些问题。

这里有一些资源：

其它你可能感兴趣的问题