我正在审查用于 MNIST 重建、Seq2Seq 翻译等的各种自动编码器设置。我对数据流的幼稚理解如下:
输入 -> [编码器] -> 隐藏表示 -> [解码器] -> 输出。
但是,如果 Seq2Seq 翻译任务类似于Sutskever 等。人。解码器输入由隐藏状态 + 输入序列组合而成。
我想知道解码器的输入如何依赖于目标任务?为什么我们需要把输入序列放在隐藏状态之外?任何高级解释表示赞赏。
我正在审查用于 MNIST 重建、Seq2Seq 翻译等的各种自动编码器设置。我对数据流的幼稚理解如下:
输入 -> [编码器] -> 隐藏表示 -> [解码器] -> 输出。
但是,如果 Seq2Seq 翻译任务类似于Sutskever 等。人。解码器输入由隐藏状态 + 输入序列组合而成。
我想知道解码器的输入如何依赖于目标任务?为什么我们需要把输入序列放在隐藏状态之外?任何高级解释表示赞赏。
你正在混合两种不同的野兽。尽管都有编码器和解码器部分,但实际使用普通前馈图像变换网络(即自动编码器)和自回归模型(即 seq2seq)的方式非常不同: