如何在序列到序列建模中使用动态记忆网络

数据挖掘 深度学习 nlp 斯坦福-nlp
2022-03-11 06:40:45

此处描述了动态内存网络我了解问答任务发生了什么,但是当涉及到序列到序列建模时,他们在 2.4 答案模块的第 4 段中对其进行了描述。

在序列建模任务中,我们希望标记原始序列中的每个单词。为此,DMN 在输入词上以与上述相同的方式运行。对于单词 t,我们替换 Eq。8个ei=hti . 请注意,每个单词的第一关门都是相同的,因为问题是相同的。这允许通过仅计算一次这些门来加快实现速度。但是,后续通行证的大门会有所不同,因为情节不同。

我无法理解全局门是如何计算的,以及为什么它们对于第一次通过的每个单词都是相等的。它们将被计算为问题向量(相同)和词向量(每个词不同)的函数。这就是我对这里发生的事情的模糊程度。有人可以解释上述段落中的部分是如何组合在一起的吗?

0个回答
没有发现任何回复~