GAN 中潜在分布选择的重要性

机器算法验证 采样
2022-04-06 04:17:27

在使用 GAN 时,将我的潜在分布选择为均匀分布与正态分布是否存在明显的理论差异?

我的直觉告诉我,如果我从一个zN(μ,σ)具有较小的潜变量σ,这意味着我的生成器将产生的样本将非常稀疏且彼此相似;就好像我为我的生成器函数跨越了一个较小的生成样本空间G(z)和鉴别器D(x)将更难区分真实数据和虚假数据,如果G(z)非常接近xpdata(x).

另一方面,如果zU[0,1],那么也许变异性不太可能,但我相信同样有可能探索所有[0,1]如果从探索与开发框架(如G(z)同样可能会命中生成器空间中的所有位置,而不是子集)。

我在这里的想法有些摇摆不定,我正在寻找可以确认或拒绝我的想法的论文、参考资料或证据。

2个回答

一个足够强大的函数逼近器可以将任何概率分布映射到任何其他概率分布。在实践中,这意味着为了合理选择潜在分布,您可以训练生成器将其映射到数据集中的图像分布。

因此,在高斯上使用均匀分布没有任何根本区别,反之亦然。然而,在变分自动编码器中,编码器试图预测图像的潜在表示q(z|X),然后正态分布使事情更容易处理,因为如果您使用均匀分布,您的预测永远不会“越界”。当然,这不适用于 GAN。

您在问题中提到的生成样本的可变性实际上并不是潜在分布的函数,因为网络可以通过单层放大和缩小分布的分布。

我部分不同意@shimano 所说的

您在问题中提到的生成样本的可变性实际上并不是潜在分布的函数

采样空间对于 GAN 的结果非常重要。例如,抽样zN(μ,σ)在哪里σ=1或者σ=10即使您的数据集不是自然图像(即 MNIST),结果也会完全不同。这背后的直觉是你之前的(z) 具有非常小的 STD,它会产生非常相似的结果,但质量相对较高,另一方面,太大的 sigma 往往会产生更多用途的图像,但质量相对较低。很抱歉,我对这个声明没有任何参考,但我在之前的抽样中探索了一点这个领域,所以这不仅仅是一种直觉。