扩展词嵌入是否有意义,以便每个数组索引都是特征输入,还是嵌入本身应该是模型输入?

数据挖掘 神经网络 特征工程 嵌入 深度学习
2022-02-12 18:30:38

如果您正在构建一个具有两层的 DNN,并且您想使用嵌入作为您的特征输入之一,那么输入嵌入的最佳方式是什么?

我试图了解是否应该分解嵌入,以便嵌入中的每个数组值都成为模型自己的输入特征,或者嵌入是否应该以数组形式保存。

我一直在追随AirBnB 的模式来寻找灵感。

我试图预测最后一层的二进制分类。

1个回答

破坏数组会丢失词嵌入的分布式表示点。

其他维度(词)中的信息分布在词嵌入表示中,将它们分解是没有意义的。