关于生成对抗网络的一些一般性问题

机器算法验证
2022-04-01 02:10:54

生成对抗网络是一种新型对抗网络,由“Goodfellow”在 2014 年引入。通常通过 DeepNN 实现,它们在生成无法与“真实”数据区分的“真实”输出方面非常强大。 GAN图 它们由两个主要部分创建。生成器和鉴别器。生成部分试图创建一些样本并欺骗鉴别器将其分类为“真实”样本。在数学上,它们可以这样表示:

min max V (D, G) = E x∼p data (x) [log D(x)] + E z∼pz (z) [log(1 − D(G(z)))]

从降噪到图像生成,有大量关于 GAN 的论文。我有一些关于它们的基本问题,我认为这些问题的答案对其他人也很有用。

  1. 有一些论文使用 GAN 从样本中提取更好的图像。例如“Kevin Schawinski et al 2017 - Generative Adversarial Networks recovery features in astrophysical images of galaxies of the deconvolution limit” ,正如你看到的,他们使用 GAN 根据样本“制作”新数据。但问题空间非常“混乱”(天文图像和深空的东西)。那么,在重新创建样本并用存储在 GAN DeepNN 中的一些“采样模式”填充它时,是否存在丢失实际数据的风险?
    凯文·沙温斯基等人 2017

噪声在这里的作用是什么?在 G 部分,我们向 DNN 输入了一些噪声(正如我所理解的输出的相同维度)。它使用这种噪声来创建一个输出,以供 D 部分判断。

  1. 我不确定,但为什么这么多论文决定使用线性分布采样来从噪声中采样。有什么特别的原因吗?是否有研究专门比较 G 部分输出与不同噪声采样策略的结果?
  2. 如果我们在 G 部分输入其他东西而不是纯噪声会怎样?那会发生什么?

在一篇论文(Han Zhang et al - 2016)中,他们使用了两阶段的 GAN。第 1 阶段是从句子和噪声中生成 128*128 的图像,在第二阶段,第 1 阶段的输出用于生成更逼真的 256*256 图像。它看起来真的像一个“分层”网络。正确的?所以:

  1. 使用具有多个阶段的更深层次的 GAN 是否可行?当然可以,但实用吗?它有什么缺点?

很抱歉在一个线程中有这么多问题。致编辑:请随时编辑我糟糕的英语并帮助其他人更好地理解问题。

谢谢

2个回答

在任何人都没有收到任何消息之后,我想总结一下我自己对该主题的研究。

问题 1:可以使用 Generated sample 从实际样本中提取数据吗?
生成的样本中会有一些“改变”的值,但实际的视图可以帮助我们理解为什么我们可能会使用它。在许多应用程序中,“更改的值”并不重要,因为它们可以更改流程的输出,因此可以将生成的样本用于这些类型的应用程序。

问题 2 和 3:噪声和噪声采样的作用是什么?
噪音可以起到平衡器的作用!我们可以肯定地改变我们从中采样甚至创建它的方式(不是纯噪声,而是其他东西!)但它会导致生成器对“噪声输入”产生偏差。因此,尽可能保持随机可能是个好主意。

问题 4:我们可以有一个更深的 GAN 吗?
好吧,实用性是我们必须关注的。可以制作“更深层次的 GAN”,但只有当我们需要对数据进行额外处理时才会这样做。实际上,当我们将生成的样本从 GAN 输入到另一个 GAN 时,我们基本上是在输入它而不是“噪声”,以便 G 部分可以在其上做“某事”。我们需要多少个阶段?这取决于我们的设计。有什么缺点?肯定会花很多时间来训练!但它也可以在最终输出中增加一些“奇怪的表示”。因为我们使用一些生成的样本作为噪声。它可能在某些情况下表现良好,但对其他情况没有保证。

所以。这是我对阅读内容以及与教授交谈的内容的解释。请随时在评论中纠正我或发布新答案。
谢谢

不是我的完整答案,而是将我的 2 美分添加到问题 3:如果将噪声更改为另一种类型的分布会发生什么?

基本上你得到了一个条件生成对抗网络 (CGAN) (Mirza & Osindero, 2014)。CGAN 已在许多应用中使用,包括图像超分辨率(这似乎是您可能参考过的有关天文图像数据的论文的情况),以及图像到图像的转换(Isola et. al. 2016)。超像素分辨率可以看作是图像到图像转换的一种特殊情况;其他应用包括密集语义标记和图像着色。