哪些深度学习模型适合图像到图像的映射?

人工智能 卷积神经网络 计算机视觉
2021-11-15 12:05:51

我正在解决一个问题,我需要训练一个神经网络将一个或多个输入图像映射到一个或多个输出图像(图像的 1 个通道)。下面我报告一些输入和输出的例子。在这种情况下,我报告了 1 个输入和 1 个输出图像,但可能需要传递给更多输入和输出,可能是通过在通道中对其进行编码。然而,这些图像都是这种类型的,可能会旋转、平移或改变一些形状。(仅供参考,它们是由流体动力学模拟定义的字段)

我在考虑 CNN,但用于图像分类的标准架构(卷积层 + 全连接层)似乎不是最佳选择。相反,我尝试使用由压缩+解压缩卷积层组成的 U-net 架构。这工作得很好,但也许有一些其他架构可能更适合我的问题。

任何建议将不胜感激!

输入图像 输出图像

1个回答

由于您已经尝试过 U-Net。您可以查看 Siamese Networks(使用 CNN 处理图像),它们以通过深度学习计算相似度而闻名。这是一个中心思想,可以使用文本和图像来执行。作为提示,您可以利用从 U-Net 到 Siamese 的大量架构。

希望它有所帮助,一些有用的链接开始:

  1. https://medium.com/@prabhnoor0212/siamese-network-keras-31a3a8f37d04
  2. https://www.aclweb.org/anthology/W16-1617.pdf