基于上下文的间隙填充面部姿势映射器 GAN

人工智能 人工智能设计 生成对抗网络 生成模型 执行 图像生成
2021-11-02 08:02:00

图片

这些图像是手工制作的,而不是像在生产中那样自动生成的。对图表叠加中的不准确之处深表歉意。

我正在尝试构建一个如图所示的 AI:当给定一组训练图像及其相应的面部/鼻子姿势节点图,以及带有节点图的缺失部分(只是一个间隙)的图像时,我希望它重建初始图像。为此,我立即想到了 GAN,但经过一番搜索,我能找到的最接近的是:

  • 没有上下文/不填补空白的面部娱乐,只是跟随姿势(DeepFake)
  • 填充图像中的空白,但没有节点参考
  • 填补参考图纸/映射的空白,但无法提供示例图像

我想听听这种算法的任何实现,如果可能的话针对人脸进行了优化,如果不存在,我想听听我将如何改变 GAN 的生成器以使用上下文/间隙填充位(例如一篇讨论这个想法但没有实现它的论文)。任何最适合此类任务的 NN 指导也值得赞赏。

1个回答

我相信您可能希望使用Sum Product Network来完成此任务。SPN 是人脸补全的最先进方法,自上述原始论文以来,最近有几篇关于此主题的论文。

重要的是,SPN 论文还涵盖了适用于该任务的其他方法。如果您的任务可以接受较低分辨率的结果,那么具有 100 个或更多组件的 PCA 效果会非常好。如果您的数据集非常大,最近邻方法也可以正常工作。