在我们裁剪出人物之后,是否可以训练 GAN 模型来修复从特定环境(例如办公室、树林、海滩……)拍摄的图像?
例如,我在 Places2 上使用了这个repo的预训练 GAN 模型
我使用了一个 MaskRCNN 模型来分割人,然后将它们裁剪出来:
但是当我将图像输入到上面提到的 GAN 模型时,结果并不是那么好:
如果可能的话,最好的 GAN 架构是什么?
在我们裁剪出人物之后,是否可以训练 GAN 模型来修复从特定环境(例如办公室、树林、海滩……)拍摄的图像?
例如,我在 Places2 上使用了这个repo的预训练 GAN 模型
我使用了一个 MaskRCNN 模型来分割人,然后将它们裁剪出来:
但是当我将图像输入到上面提到的 GAN 模型时,结果并不是那么好:
如果可能的话,最好的 GAN 架构是什么?
我怀疑最佳可用架构是否有一个正确的答案,但目前最好的结果来自NVIDIA 的这篇论文和Adobe 的这份技术报告。后一篇论文是您链接的 repo 的第二次迭代。两篇论文都关注非矩形修复,这似乎是您的目标兴趣。但是,两者都没有公开可用的代码,因此如果您有兴趣了解这些模型可以完成什么,您必须自己重新实现它们!
编辑:自最初的回答以来,NVIDIA 发布了 PyTorch 实现,这里是 repo。