用于修复图像的 GAN

数据挖掘 深度学习 生成模型
2021-09-26 07:00:51

在我们裁剪出人物之后,是否可以训练 GAN 模型来修复从特定环境(例如办公室、树林、海滩……)拍摄的图像?

例如,我在 Places2 上使用了这个repo的预训练 GAN 模型

我使用了一个 MaskRCNN 模型来分割人,然后将它们裁剪出来:

原始图像 带有人物的图像被裁剪掉了

但是当我将图像输入到上面提到的 GAN 模型时,结果并不是那么好:

修复图像

如果可能的话,最好的 GAN 架构是什么?

1个回答

我怀疑最佳可用架构是否有一个正确的答案,但目前最好的结果来自NVIDIA 的这篇论文Adobe 的这份技术报告后一篇论文是您链接的 repo 的第二次迭代。两篇论文都关注非矩形修复,这似乎是您的目标兴趣。但是,两者都没有公开可用的代码,因此如果您有兴趣了解这些模型可以完成什么,您必须自己重新实现它们!

编辑:自最初的回答以来,NVIDIA 发布了 PyTorch 实现,这里是 repo。