最大池与零填充:丢失空间信息

数据挖掘 神经网络 卷积神经网络
2021-10-12 06:19:14

当谈到卷积神经网络时,通常有很多论文推荐不同的策略。我听说有人说,在卷积之前为图像添加填充是绝对必要的,否则会丢失很多空间信息。另一方面,他们很乐意使用池化(通常是最大池化)来减小图像的大小。我想这里的想法是最大池化减少了空间信息但也降低了对相对位置的敏感性,所以这是一个权衡?

我听其他人说零填充不会保留更多信息,只会保留更多空数据。这是因为通过添加零,当部分信息丢失时,无论如何您都不会得到内核的反应。

我可以想象,如果您的大内核在边缘具有“废值”并且激活源集中在内核的较小区域中,那么零填充会起作用吗?

我很乐意阅读一些关于使用池化对比不使用填充进行下采样的效果的论文,但我找不到太多关于它的信息。有什么好的建议或想法吗? 图:使用卷积对照池的空间下采样(Researchgate)

图:使用卷积对照池的空间下采样(Researchgate)

1个回答

池化(max/mean/etc)有两个主要好处:它显着降低了计算复杂度(以潜在重要数据为代价),它通过降低特征之间的空间相关性来帮助网络实现空间不变性。

然而,通过池化实现的空间不变性并不总是理想的。例如,给定一个经过训练以识别汽车图像的 CNN,它可能会将包含引擎盖/后备箱、轮胎、窗户、车门等的图像分类为汽车,而不管组件的相对位置如何。

另一方面,我不知道使用填充的显着成本。零填充对于深度网络至关重要;没有它,我们的体积将迅速通过层层崩塌。因此,它有助于保持理想的卷大小并保存边界数据。它还通过防止层之间的尺寸不匹配来帮助 CNN 的几何结构顺利进行。

你可能会觉得这篇论文很有趣。Hinton 和他的团队提出了一个名为 Capsule Network (CapsNet) 的新网络,该网络解决了池化问题,并提供了一种获取空间不变性的替代解决方案。他们算法的许多令人兴奋的部分之一是特征相对于彼此的位置是分类过程中的主要资产,使计算机更接近于对对象的“真正理解”。