这些可视化是卷积层的过滤器还是带有过滤器的卷积图像?

人工智能 神经网络 卷积神经网络 过滤器 可解释的ai 卷积层
2021-10-28 18:56:31

网上有几张与卷积网络相关的图片,下面我给出了一个例子 在此处输入图像描述

我的问题是:这些图像是卷积层的权重/过滤器(在学习过程中学习的权重),还是前一层图像与当前层过滤器的卷积图像?

图片来源: https ://stats.stackexchange.com/questions/362988/in-cnn-do-we-have-learn-kernel-values-at-every-convolution-layer

1个回答

只有第一个卷积层,带有直接处理输入[颜色]通道的过滤器,可以直接渲染与输入相同域中的图像块。您的示例中最左侧的面板看起来像这样。

神经网络的其他层不能像这样渲染,原因有两个:

  • 它们有许多基于前一层输出的输入通道,例如它们可以处理 32 或 128 个通道。没有将这些通道简单地映射到颜色。

  • 与任何单个图像补丁相比,它们对输入刺激的响应范围更广。如果您尝试渲染出他们响应的所有输入,那么您可能会得到一个看起来模糊不清的灰色斑点(如果有的话)。这与根据权重直接逐像素反应的第一层不同。

在您的示例中呈现像中间和最右侧面板这样的补丁通常要做的是找到触发来自该过滤器的强烈响应的样本补丁。这种搜索可以使用梯度上升来完成- 从噪声开始,然后在增加该滤波器的信号的方向上采取梯度步骤。这也是“Deep Dream”图像的基础,它不是对小块执行此操作,而是一次将其应用于整个图像和许多过滤器。