为什么 Zeiler&Fergus 的 layer >= 2 的 deconv 输出看起来如此不切实际?

数据挖掘 神经网络 卷积神经网络
2021-09-28 04:28:33

阅读Zeiler&Fergus 的论文我的总结),我想知道他们是如何训练 deconv 网络的。他们的数据是什么?

我认为对于他们想要分析的一个 CNN,他们只训练一个反卷积网络(与每层训练一个反卷积网络相反)。deconv 网络的特征(输入)是他们想要分析的层的激活。他们训练他们的输出是实际上是他们想要分析的层的输入的激活。因此,尽管他们总共有一个反卷积网络,但他们还是逐层训练它。所以对于每次训练运行,只调整一个反卷积层的权重。

但是,我想知道为什么这些图像看起来那么不切实际:

在此处输入图像描述

它是灰色的,因为 MSE 是训练目标吗?那么为什么第一层过滤器输出也不是灰色的呢?

1个回答

从中重建的图像deconvnet表示原始图像中的模式,这些模式很可能在特定的卷积层强烈激活特定的特征图。

重建图像中的灰色部分表明输入图像中这些像素的值不太可能强烈激活该特征图。

第一层过滤器中没有这样的灰色部分,因为第一层过滤器表示非常简单的图案(例如边缘),并且这些图案很可能出现在输入图像中的任何地方。