GAN(生成对抗网络)也可以用于文本吗?
数据挖掘
甘
2021-09-17 01:10:30
3个回答
是的,GAN 可以用于文本。然而,将 GAN 的工作原理与神经网络正常生成文本的方式结合起来存在一个问题:
- GAN 的工作原理是通过生成器和判别器的组合传播梯度。
- 文本通常是通过在令牌空间上具有最终的 softmax 层来生成的,也就是说,网络的输出通常是生成每个令牌的概率(即离散随机单元)。
这两件事本身不能很好地协同工作,因为你不能通过离散的随机单元传播梯度。有两种主要方法可以解决这个问题:REINFORCE 算法和Gumbel-Softmax 重新参数化(也称为具体分布)。考虑到已知 REINFORCE 具有高方差,因此您需要大量数据才能获得良好的梯度估计。
作为文本 GAN 的强化示例,您可以查看SeqGAN 文章。Gumbel-Softmax 的一个例子你可以查看这篇文章。
另一个完全不同的选择是不使用离散随机单元作为生成器的输出(例如,在嵌入空间中确定性地生成令牌),因此消除了通过它们进行反向传播的原始问题。
关于这个主题还有更具体的研究:
经过训练的生成器能够生成具有一定语法和逻辑水平的句子。
肖雪荣,“使用生成对抗训练的文本生成”
是的,GAN 现在也可以用于离散数据。当 Wasserstein GAN (WGAN) 出现时,这种直觉的第一个实例就出现了。Ian Goodfellow在 NIPS 2016 会议上讨论了针对此问题的强化学习方法。此外,本文还讨论了 GAN 在离散数据方面的进步。
其它你可能感兴趣的问题