如何对全卷积神经网络进行预处理

数据挖掘 深度学习 分类 卷积神经网络
2022-02-18 17:56:28

假设我正在创建一个完全卷积的分类器来识别不同类型的动物。现在让我们假设我事先知道动物属于动物王国的哪个部分(哺乳动物、爬行动物、两栖动物......等)。我如何将这些额外信息呈现给全卷积网络?

任何想法或研究都会非常有帮助。

编辑* 更具体地说,我关心的是域适应,如此处所示在此示例中,我使用的是完全卷积网络,没有任何池化或跨步,其中输出与输入大小相同(即从一个域转换到另一个域的图像)。在这方面,我希望能够在任何大小的图像上运行域适应。在输入中添加额外的通道似乎是最有意义的,但是如果我对一堆分类变量进行一次性编码,这将消耗大量内存。

1个回答

我之前一直在考虑这个问题,虽然我没有研究过这个问题,甚至没有实施过这个问题,但我有一些想法,从简单/明显到更详细:

  • 不要让它完全卷积,而是在你连接这些信息的地方添加一些密集层
  • 如果它只是一个类别,则对其进行一次热编码并在您的图片上将其作为输入端或网络中途的额外通道进行广播
  • 与之前的建议类似,但要为您在开头或中间广播的类别学习嵌入
  • 这一次,使用 one-hot encoding 作为输入并学习一个嵌入,例如 8x8 并将其上采样到您的图像分辨率
  • 再次学习嵌入,但这次使用一些上卷积将其缩放到输入(或中间)大小

让我知道它有多大帮助!