嵌入什么时候对小输入空间有用?

数据挖掘 机器学习 嵌入
2022-02-24 12:27:18

我注意到一些作者倾向于对几乎所有内容都使用嵌入。例如,在 AlphaStar 论文中,或者在 OpenAI5 论文的示例下方(链接):

在此处输入图像描述

此处的 Hero Embedding 编码了有关从 17 个英雄中选择了哪个英雄的信息。每场比赛有 5 个可选英雄,这将产生大小为 17 * 5 = 85 的一次性编码向量。相反,他们选择使用嵌入来编码此信息。这看起来是不是有点矫枉过正?

我的理解是嵌入对于大规模输入非常有用,例如单词语料库,因为它们很好地降低了维度。在上述较小的输入上执行此操作有什么好处?仅仅是方便吗?或者我可能误解了嵌入在这里的含义?

编辑:我想补充一点,即使英雄嵌入包含更多独特的信息,例如生命值、法力等,它仍然会非常小,可能低于 200 值。那么什么时候开始使用嵌入而不是直接使用值才有意义呢?背后的想法是什么?

1个回答

嵌入的优点是将分类变量转换为数值变量。这些数值变量具有语义意义。因此,任何有效的数值数学运算都具有可解释的意义。

One-hot 编码只是告诉模型两个实体是不同的。嵌入告诉实体有多么不同。