我正在研究一种深度学习解决方案，用于对不是原始文本而是实体（已经从文本中提取）的序列数据进行分类。我目前正在使用 word2vec 样式的嵌入将实体提供给 CNN，但我想知道 Transformer（à la BERT）是否会是更好的选择并提供更好的方法来捕获所涉及实体的语义。我似乎找不到任何文章（更不用说图书馆）将 BERT 之类的东西应用于非文本序列数据。有人知道关于这个角度的任何论文吗？我考虑过从头开始训练 BERT 模型并将实体视为文本。但是，问题在于 BERT 在处理长序列（句子）时显然很慢。在我的数据中，我经常有长度超过 1000 的序列，所以我 我担心 BERT 不会削减它。非常感谢任何帮助、见解或参考！谢谢