巴赫达瑙注意

数据挖掘 张量流 rnn
2022-03-08 17:07:47

在原始论文中,作者说注释是每个时间步的前向状态和后向状态的连接。

在此处输入图像描述

在 tensorflow实现(内存参数)中,内存字段被称为填充了 RNN 编码器的输出(不是隐藏状态)。

我错过了什么?

1个回答

如果您还没有找到答案,tensorflows 默认注意力实现不执行双向编码,因此您看不到连接(而在论文中,它明确提到)..我猜我们需要包括双向 rnn明确地模仿论文。如需进一步证明,请查看第 788 行 https://github.com/tensorflow/tensorflow/blob/r1.3/tensorflow/contrib/legacy_seq2seq/python/ops/seq2seq.py

函数定义下方的注释清楚地告诉您“然后它运行一个 RNN 将嵌入的encoder_inputs 编码为一个状态向量。它在每一步都保留这个RNN 的输出以供以后使用。接下来,它嵌入decoder_inputs...

希望有帮助