学习两幅图像之间联系的神经网络

人工智能 神经网络
2021-11-06 18:30:31

是否有可能建立一个学习两个图像之间连接的神经网络?

假设我有许多与 Y 图像相关的 X 图像。如何构建一个将图像作为输入并输出(生成)输出图像的神经网络?

Y 图像是通过对 X 图像应用一些函数来生成的。

我需要一个生成神经网络吗?传统的神经网络只能分类吗?

2个回答

输入和输出可能都是以可预测方式不同的图像。例如,类似于自动编码器的架构已被用于消除模糊、改变天气条件、在白天和夜间照片之间切换等。在这些架构中,训练数据匹配成对的图像。如果您的目标是复制一些图像增强功能,那么通常会人为地处理输入,例如以难以逆转的方式降低其质量。一个很好的例子是从图像中去除失真或噪声。

您还可以使用生成模型。这些更难工作,但可以更灵活,因为您不需要图像对来训练,只需一组标有您想要学习的特征的图像。使用生成模型转换图像涉及使用编码器阶段来获取其嵌入,根据您需要的标签更改嵌入,然后将新嵌入馈送到解码器阶段。这就是您可以将面部肖像从男性更改为女性,或从年轻到年老的方式,因为不可能为该任务找到好的自然图像对。

当然,例如用于消除视觉噪音。查找 NVIDIA 的noise2noise。制作了一个能够从一张图片中去除几乎所有噪点的网络。 https://hothardware.com/news/nvidia-noise2noise-machine-learning-ai-magically-restores-your-grainy-photos