我目前正在使用转换器进行二进制文本分类任务。除了原始文本之外,我还想添加一些其他精选特征,如文本长度、文本日期、文本作者等。我想我可以将这些特征添加到变换器末端线性层之前的向量中。所以我只会将精选的特征附加到文本嵌入中。
这对我来说似乎很合乎逻辑,但我真的找不到任何引用这个主题的来源。所描述的方法确实是向变压器添加附加功能的方法吗?还是有其他方法?
提前致谢!
我目前正在使用转换器进行二进制文本分类任务。除了原始文本之外,我还想添加一些其他精选特征,如文本长度、文本日期、文本作者等。我想我可以将这些特征添加到变换器末端线性层之前的向量中。所以我只会将精选的特征附加到文本嵌入中。
这对我来说似乎很合乎逻辑,但我真的找不到任何引用这个主题的来源。所描述的方法确实是向变压器添加附加功能的方法吗?还是有其他方法?
提前致谢!