我正在阅读用于建模多元时间序列的表格变换器论文，并且在理解图 2 中的结构时遇到了问题。2.2，作者说场转换器单独处理行，创建行嵌入。究竟什么是行嵌入？
行嵌入作为变压器的输出 - 它们是如何定义的？
数据挖掘
深度学习
时间序列
变压器
2022-02-17 00:03:14
1个回答
图 2 中的算法可以改写为：
- 拿连续的数据行。
- 省略行的随机部分（随机掩码）。
- 将每个被屏蔽的行分别放入 Field Transformer。（它不关心该行在文档中的位置。）
- 按照与文档中相同的顺序将生成的字符串作为一个句子放入 BERT。
- 接收行的嵌入，说明它们在文档中的位置。
关于您关于行嵌入的问题，它是 BERT 中允许的字符序列。
很可能，它是拉丁字符和数字的混合体，看起来不像英文单词。
其它你可能感兴趣的问题