降低词嵌入的维数

数据挖掘 nlp 降维 词嵌入
2021-10-12 08:56:51

我训练了 300 维的词嵌入。现在,我想要 50 维的词嵌入:重新训练 50 维的词嵌入更好,还是可以使用一些降维方法将 300 维的词嵌入缩小到 50 维?

2个回答

有一篇关于这个主题的论文

简单有效的词嵌入降维,Vikas Raunak

你可以在这里阅读

你也可以在这里找到实现

在我看来,它工作得很好

t 分布随机邻域嵌入 (t-SNE)通常用于单词嵌入中的降维。t-SNE 保持向量之间的相对关系。

大多数情况下,t-SNE 用于可视化,从而将维度减少到 2 或 3。它也可以将维度减少到 50。