我有很多训练数据点（即以百万计），而且我的特征很少，但问题是所有特征都是分类数据，每个都有 100 万多个类别。

所以，我不能使用一种热编码，因为它效率不高，所以我选择了另一种选择，即嵌入固定长度。我刚刚使用神经网络来计算嵌入。

我的问题是我们可以使用像 bert 这样的高级 NLP 模型从我的语料库中提取分类数据的嵌入吗？是否可以？我之所以问它，是因为我只听说 bert 对句子嵌入有好处。

谢谢你。