卷积神经网络中“特征图”(又名“激活图”)的定义是什么?

机器算法验证 神经网络 深度学习 卷积神经网络
2022-02-14 06:46:11

 介绍背景

在卷积神经网络中,我们通常具有如下所示的一般结构/流程:

  1. 输入图像(即二维向量x

(第一个卷积层(Conv1)从这里开始......)

  1. w1沿 2D 图像卷积一组滤波器 ( )(即进行z1 = w1*x + b1点积乘法),其中z13D 和b1是偏差。
  2. 应用激活函数(例如 ReLu)来制作z1非线性(例如a1 = ReLu(z1)),其中a1是 3D。

(第二个卷积层(Conv2)从这里开始......)

  1. 沿新计算的激活函数卷积一组过滤器(即进行z2 = w2*a1 + b2点积乘法),其中z2是 3D,并且b2是偏差。
  2. 应用激活函数(例如 ReLu)来制作z2非线性(例如a2 = ReLu(z2)),其中a2是 3D。

 问题

术语“特征图”的定义似乎因文献而异。具体来说:

  • 对于第一个卷积层,“特征图”是否对应于输入向量x,或输出点积z1,或输出激活a1,或“过程”转换xa1,或其他?
  • 同样,对于第二个卷积层,“特征图”是否对应于输入激活a1,或输出点积z2,或输出激活,或转换a2的“过程” ,或其他什么?a1a2

另外,“特征图”一词是否与“激活图”完全相同(或者它们实际上意味着两个不同的东西?)

 附加参考:

神经网络和深度学习的片段——第 6 章

*这里的术语使用松散。特别是,我使用“特征图”来表示不是卷积层计算的函数,而是该层输出的隐藏神经元的激活。这种对术语的轻度滥用在研究文献中很常见。


来自Matt Zeiler的可视化和理解卷积网络的片段

在本文中,我们介绍了一种可视化技术,该技术揭示了在模型的任何层激发单个特征图的输入刺激。[...] 相比之下,我们的方法提供了一个非参数的不变性视图,显示了训练集中的哪些模式激活了特征图。[...] 一种局部对比操作,可标准化跨特征映射的响应。[...] 为了检查给定的 convnet 激活,我们将层中的所有其他激活设置为零,并将特征图作为输入传递给附加的 deconvnet 层。[...] convnet 使用 relu 非线性,它可以纠正特征图,从而确保特征图始终为正。[...] convnet 使用学习过滤器来卷积前一层的特征图。[...] 图 6,这些可视化是刺激模型中给定特征图的输入模式的准确表示 [...] 当与模式对应的原始输入图像的部分被遮挡时,我们看到特征图中的活动明显下降。[...]

备注:在图1中还引入了术语“feature map”和“rectified feature map”。


来自斯坦福 CS231n CNN 章节的片段:

[...] 这种可视化很容易发现一个危险的陷阱,即对于许多不同的输入,一些激活图可能全为零,这可能表明过滤器失效,并且可能是高学习率 [...]训练有素的 AlexNet 的第一个 CONV 层(左)和第 5 个 CONV 层(右)的典型激活,查看一张猫的照片。每个框显示对应于某个过滤器的激活图。请注意,激活是稀疏的(大多数值为零,在此可视化中以黑色显示)并且大部分是局部的。


来自A-Beginner's-Guide-To-Understanding-Convolutional-Neural-Networks 的片段

[...] 输入卷上的每个唯一位置都会产生一个数字。在所有位置上滑动过滤器后,您会发现剩下的是一个 28 x 28 x 1 的数字数组,我们称之为激活图或特征图。

4个回答

特征图或激活图是给定过滤器(在您的情况下为 a1)的输出激活,无论您在哪个层,定义都是相同的。

特征图激活图的含义完全相同。之所以称为激活图,是因为它是对应于图像不同部分的激活的映射,也称为特征图,因为它也是在图像中找到某种特征的位置的映射。高激活意味着找到了某个特征。

“校正特征图”只是使用 Relu 创建的特征图。您可能会看到用于点积 (z1) 的结果的术语“特征图”,因为这实际上也是图像中某些特征所在位置的地图,但这并不常见。

在此处输入图像描述

在 CNN 术语中,3×3 矩阵称为“过滤器”或“内核”或“特征检测器”,通过在图像上滑动过滤器并计算点积形成的矩阵称为“卷积特征”或“激活”地图”或“特征地图”。需要注意的是,过滤器充当原始输入图像的特征检测器。

来源:https ://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/

在谈论特征图是什么意思之前,我们先来定义特征向量这个术语。

特征向量是对象的向量表示。例如,一辆车可以用[车轮数,门。窗户,年龄..等]。

特征图是一个函数,它在一个空间中获取特征向量并将它们转换为另一个空间中的特征向量。例如,给定一个特征向量 [volume ,weight, height, width] 它可以返回 [1, volume/weight, height * width] 或 [height * width] 甚至只是 [volume]

为了给出完整的答案,我们需要一些定义:

背景定义:

  • 对我们来说,一个“输入空间”X只是一个度量空间。
  • 一个模型类F(连续函数的)普遍来自XRD如果F密集在C(X,RD)用于紧凑拓扑的一致收敛。

特征图的定义:

特征图隐含地取决于使用的学习模型类和“输入空间”X数据在哪里更正式地说,如果F是一类模型RdRD然后是一个特征F在输入空间上X是一个(只是)函数

ϕ:XRd.


特征图有什么意义?:

  1. 这里的(第一)点是ϕ使数据在X与学习模型兼容F; IE:Fϕ{f^ϕ:fF}不是一组模型XRD.

什么是“好”的特征图?

  1. 第二点是特征图的“好”选择(即使在X=Rd)可以严格提高模型类的可表达性F. 这意味着:

一种。(升级属性)F是“普遍的”,那么也是Fϕ

湾。(UAP-不变性)如果F是“普遍的”,那么也是Fϕ.


构建“好的特征图: