如何反向传播以使用多解码器实现序列到序列

人工智能 循环神经网络 机器翻译
2021-10-20 00:52:29

我提出了带有双解码器的序列到序列模型的修改版本。我要解决的问题是神经机器同时翻译成两种语言。这是模型的简化图。

                            /--> Decoder 1 -> Language Output 1
Language Input -> Encoder -|
                            \--> Decoder 2 -> Language Output 2

我对反向传播的理解是,我们正在调整网络的权重以增强目标输出的信号。但是,我不清楚如何在这个网络中反向传播,因为我还不能在网上找到类似的实现。我正在考虑在每个训练批次后进行两次反向传播,如下所示:

Decoder 1Encoder
Decoder 2Encoder

但我不确定解码器 2 的反向传播效果是否会影响解码器 1 的预测精度。这是真的吗?

另外,这种结构可行吗?如果是这样,我如何正确地在网络中反向传播?

0个回答
没有发现任何回复~