如何为文本生成任务准备数据

数据挖掘 深度学习 nlp 语言模型 文本生成 变压器
2022-02-14 00:38:38

首先,我不确定模型在训练期间是否包含编码器。

EOS 表示句子结束。编码器和解码器是变压器网络的一部分。

如果没有编码器,训练时间:

target: [E, F, G, H, EOS]
decoder input: [0, E, F, G, H]

如果没有编码器,测试时间:

decoder input: [0]

如果使用编码器,训练时间:

encoder input: [A, B, C, B]
target: [E, F, G, H, EOS]
decoder input: [0, E, F, G, H]

如果使用编码器,测试时间:

encoder input: [A, B, C, D]
decoder input: [0]

我说的对吗?

0个回答
没有发现任何回复~