是否有基于转换器的架构可以在给定任意长度的文本文档的情况下生成固定长度的向量编码?

人工智能 自然语言处理 参考请求 自动编码器 变压器 伯特
2021-11-08 04:43:11

BERT对一段文本进行编码,使得输入文本中的每个标记(通常是单词)映射到文本编码中的一个向量。然而,这使得编码的长度随着文本输入长度的变化而变化,这使得将其用作下游神经网络的输入变得更加麻烦,这些神经网络只接受固定大小的输入。

是否有任何基于转换器的神经网络架构可以将一段文本编码为更适合下游任务的固定大小的特征向量?

0个回答
没有发现任何回复~