将特征添加到变压器的线性层

数据挖掘 深度学习 神经网络 变压器
2022-02-21 09:42:47

我目前正在使用转换器进行二进制文本分类任务。除了原始文本之外,我还想添加一些其他精选特征,如文本长度、文本日期、文本作者等。我想我可以将这些特征添加到变换器末端线性层之前的向量中。所以我只会将精选的特征附加到文本嵌入中。

这对我来说似乎很合乎逻辑,但我真的找不到任何引用这个主题的来源。所描述的方法确实是向变压器添加附加功能的方法吗?还是有其他方法?

提前致谢!

0个回答
没有发现任何回复~