在大多数情况下，似乎嵌入 dim 是通过反复试验根据经验选择的。

NLP 中的旧论文通常使用 300 个https://petuum.medium.com/embeddings-a-matrix-of-meaning-4de877c9aa27。最近的论文使用了 512、768、1024。

影响嵌入选择的因素之一是您希望不同向量相互关联的方式。在概率为 1 的高维空间中，随机选择的向量将近似相互正交。而在低维和许多不同类别的情况下，许多向量将具有点积，与 0 显着不同。

我认为，如果人们期望许多向量必须相关，那么维度不应该很高。否则，如果预计嵌入中的每个可能的键都会产生不同的、不相关的向量，则预计维数会很大。

我从这本书中得到了答案：机器学习设计模式：数据准备、模型构建和 MLOps 中常见挑战的解决方案。

如果我们赶时间，一个经验法则是使用唯一分类元素总数的第四个根，而另一个是嵌入维度应该是该类别中唯一元素数量的平方根的大约 1.6 倍, 且不少于 600。