高斯噪声是如何赋予这个基于 BLSTM 的 GAN 的?

数据挖掘 神经网络 深度学习 lstm nlp
2021-09-21 05:28:30

在条件 GAN 中,我们将随机噪声和标签作为输入提供给生成器。这篇论文中,我不明白为什么在论文的一个部分中,他们说他们将随机噪声作为输入,而在论文的另一部分中,他们说将其连接到输出。

第2页

第2页

第 2 页脚注

第 2 页脚注

第 3 页模型设置部分

第 3 页模型设置部分

论文概述:代码切换是口语中的一种现象,我们在两种不同的语言之间切换。混合语言模型在更高程度上提高了自动语音识别的准确性,但问题是混合语言书面句子的可用性较低。因此,作为一种数据增强技术,开发了条件 GAN 以从纯普通话句子中合成英语、普通话混合句子。经过训练的生成器充当代理,告诉必须翻译普通话句子中的哪些单词。它输出一个二进制数组(长度等于输入的普通话句子长度)。生成器和判别器都是 BLSTM 网络。

#####EDIT:作者承认这是一个错字,噪声应该在嵌入层之后连接而不是BLSTM的输出作者回复:这是第3页的错字。噪声与输出连接嵌入层。感谢您的指正。#####

2个回答

3.2 模型设置中所述

生成器 G 由嵌入层、一个双向长短期记忆 (BLSTM) [21] 层、一个全连接 (FC) 层组成。

高斯噪声是与 BLSTM 的输出连接的 10 维向量

因此,噪声被连接到 BLSTM 为每个时间步计算的嵌入。我认为它们将相同的 10 维向量连接到 BLSTM 的每个嵌入输出,但这并不清楚。

获得的向量(嵌入与噪声连接)被馈送到具有 softmax 激活的全连接层,以计算单词应该被翻译或不被翻译的概率。

关于“忽略噪音”的第 2 页脚注

我认为他们在对模型的解释中只是忽略了它,但通过简单地将高斯噪声向量附加到 BLSTM 的嵌入输出,它就可以有效地用于模型中。

正如您在下图中看到的,它们没有显示噪声,但它实际上连接到生成器中 BLSTM 的输出嵌入。

在此处输入图像描述

他们说他们忽略了输入中的噪声 z这就是他们后来连接它的原因吗?

所以整体模型更简单?