最大池化与平均池化提取的特征

机器算法验证 机器学习 深度学习 特征工程 计算机视觉
2022-03-28 05:52:05

在深度学习以及它在计算机视觉中的应用中,是否有可能分辨出这两种类型的池化提取具有什么样的特征?例如,是否可以说最大池提取边缘?关于均值池,我们可以说类似的话吗?

PS随意推荐stackoverflow是否更合适。

2个回答

我不会说这两种提取特征。相反,构造/提取特征的是卷积层,而池化层将它们压缩到较低的保真度。不同之处在于压缩发生的方式,以及保留的保真度类型:

  • 通过获取块中的最大激活来压缩的最大池层。如果你有一个大部分是小激活但有一点大激活的块,你会丢失关于低激活的信息。我认为这是在说“在这个一般区域中检测到了这种类型的特征”。
  • 平均池层通过获取块中的平均激活来进行压缩。如果大激活由负激活平衡,则整体压缩激活看起来根本没有激活。另一方面,您在前面的示例中保留了一些关于低激活的信息。

我的观点是,max&mean pooling 与特征的类型无关,而是与平移不变性有关。

想象一下学习识别“A”与“B”(A 和 B 的像素没有变化)。首先在图像中的固定位置。这可以通过逻辑回归(1 个神经元)来完成:权重最终成为 A - B 差异的模板。

现在,如果您训练识别图像中的不同位置会发生什么。你不能用逻辑回归来做到这一点,扫描图像(即用一个滤波器近似卷积层)并适当标记图像 A 或 B 的所有扫描,因为从不同位置学习会干扰 - 实际上你尝试学习平均值AB 作为 A/B 通过您的过滤器 - 但这只是一个模糊。

最大池化学习仅在最大激活的位置(希望以字母为中心)执行。我不太确定平均池化——我想更多的学习(即权重调整)是在最大激活位置完成的,并且避免了模糊)......

我鼓励你实现这样一个简单的网络,它有 2 个类和 1 个卷积层过滤器,然后是最大/均值池和 1 个输出节点,并检查权重/性能。