GAN(生成对抗网络)也可以用于文本吗?

数据挖掘
2021-09-17 01:10:30

GAN(生成对抗网络)仅适用于图像还是也可以用于文本?

就像训练网络从摘要中生成有意义的文本一样。

UPD - 来自 GAN 发明者 Ian Goodfellow 的引述。

GAN 尚未应用于 NLP,因为 GAN 仅针对实值数据定义。( 2016 ) 来源

这不是一个有根本缺陷的想法。应该可以至少执行以下操作之一……(2017)来源

3个回答

是的,GAN 可以用于文本。然而,将 GAN 的工作原理与神经网络正常生成文本的方式结合起来存在一个问题:

  • GAN 的工作原理是通过生成器和判别器的组合传播梯度。
  • 文本通常是通过在令牌空间上具有最终的 softmax 层来生成的,也就是说,网络的输出通常是生成每个令牌的概率(即离散随机单元)。

这两件事本身不能很好地协同工作,因为你不能通过离散的随机单元传播梯度。有两种主要方法可以解决这个问题:REINFORCE 算法Gumbel-Softmax 重新参数化(也称为具体分布)。考虑到已知 REINFORCE 具有高方差,因此您需要大量数据才能获得良好的梯度估计。

作为文本 GAN 的强化示例,您可以查看SeqGAN 文章Gumbel-Softmax 的一个例子你可以查看这篇文章

另一个完全不同的选择是不使用离散随机单元作为生成器的输出(例如,在嵌入空间中确定性地生成令牌),因此消除了通过它们进行反向传播的原始问题。

关于这个主题还有更具体的研究:

经过训练的生成器能够生成具有一定语法和逻辑水平的句子。

肖雪荣,“使用生成对抗训练的文本生成”

这个问题与这个问题有关: https ://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

是的,GAN 现在也可以用于离散数据。当 Wasserstein GAN (WGAN) 出现时,这种直觉的第一个实例就出现了。Ian Goodfellow在 NIPS 2016 会议上讨论了针对此问题的强化学习方法。此外,本文还讨论了 GAN 在离散数据方面的进步。