用于消除多重分布噪声的生成对抗网络

数据挖掘 机器学习 计算机视觉 生成模型
2022-02-19 08:29:40

我正在做一个需要对图像进行去噪的项目,我的数据集由一大块 pair 组成<natural image, same image with synthetically added noise>事实是,我有多个噪声源(带有标签),例如高斯噪声、椒盐噪声、失真、饱和度等等。不同的噪声类型在相同的原始图像上,这意味着对于每个未失真的图像,每种噪声类型都有一对,我认为这与训练相关。

由于 GAN 最近在图像翻译任务中取得的成功,我正在研究最近的架构以及如何调整它们以适应我的任务。问题是:你认为 GAN 是否有可能学习分布之间的多对一映射,即不同的噪声分布(多个)和未失真的图像分布(一个),还是我需要训练多个网络对于不同种类的噪音?

鉴于我已经配对了我正在研究pix2pix架构的图像。最近CycleGAN呢?如果有多个分布,学习后向映射函数看起来要困难得多,我猜这就是为什么当他们发布预训练模型时,他们确实有多个模型用于多个任务。

1个回答

任务是去噪,所以我认为你可以在分布之间进行多对一映射,然后如果不能正确学习,我可能会尝试更改生成器架构。对于多个模型,您必须对噪声类型进行分类,以便为特定噪声分布选择正确的训练模型。

关于 CycleGAN...

CycleGAN 用于未配对的图像。它试图学习一般更复杂的问题,因为它不需要配对图像。

由于您已配对图像,因此您应该利用这一事实并选择需要配对图像的 pix2pix。此外,CycleGAN 拥有 2 个生成器和 2 个判别器,因此您拥有更大的模型,因此您需要更多的计算能力。