使用解码器输出训练编码器-解码器

数据挖掘 训练 自动编码器 序列到序列
2022-02-24 06:37:51

我正在尝试为文本样式传输问题构建编码器-解码器模型。问题是我没有两种风格之间的平行数据,所以我需要在无监督的环境中训练模型。

我见过的一些论文使用自动编码器来分别训练编码器和解码器组件。通过将问题设置为自动编码器,他们可以通过将目标序列(等于输入序列)传递给解码器来训练解码器。(这里有一些例子,https : //arxiv.org/pdf/1711.06861.pdf,https://arxiv.org/pdf/1804.04003.pdf

我想知道是否可以通过将时间 t-1 的预测输入到时间步 t 的输入中来训练解码器,而不是自动编码器。我会将生成的输出传递给分类器以检查样式并获得训练信号。这是否明智,这样做的利弊是什么?谢谢。

1个回答

我想知道是否可以通过将时间 t-1 的预测输入到时间步 t 的输入中来训练解码器。

的,有可能做到这一点。

但我不明白你为什么要这么做。

您将在每个新预测中累积传播和放大的错误,使您的预测迟早会偏离基本事实。