是否有可能建立一个学习两个图像之间连接的神经网络?
假设我有许多与 Y 图像相关的 X 图像。如何构建一个将图像作为输入并输出(生成)输出图像的神经网络?
Y 图像是通过对 X 图像应用一些函数来生成的。
我需要一个生成神经网络吗?传统的神经网络只能分类吗?
是否有可能建立一个学习两个图像之间连接的神经网络?
假设我有许多与 Y 图像相关的 X 图像。如何构建一个将图像作为输入并输出(生成)输出图像的神经网络?
Y 图像是通过对 X 图像应用一些函数来生成的。
我需要一个生成神经网络吗?传统的神经网络只能分类吗?
输入和输出可能都是以可预测方式不同的图像。例如,类似于自动编码器的架构已被用于消除模糊、改变天气条件、在白天和夜间照片之间切换等。在这些架构中,训练数据匹配成对的图像。如果您的目标是复制一些图像增强功能,那么通常会人为地处理输入,例如以难以逆转的方式降低其质量。一个很好的例子是从图像中去除失真或噪声。
您还可以使用生成模型。这些更难工作,但可以更灵活,因为您不需要图像对来训练,只需一组标有您想要学习的特征的图像。使用生成模型转换图像涉及使用编码器阶段来获取其嵌入,根据您需要的标签更改嵌入,然后将新嵌入馈送到解码器阶段。这就是您可以将面部肖像从男性更改为女性,或从年轻到年老的方式,因为不可能为该任务找到好的自然图像对。
当然,例如用于消除视觉噪音。查找 NVIDIA 的noise2noise。制作了一个能够从一张图片中去除几乎所有噪点的网络。 https://hothardware.com/news/nvidia-noise2noise-machine-learning-ai-magically-restores-your-grainy-photos