最大池化真的很糟糕吗?

人工智能 深度学习 卷积神经网络 汇集 最大池化
2021-11-17 10:24:07

Hinton 不相信池化操作(视频)。我也听说这几年很多max-pooling层都被卷积层取代了,是真的吗?

2个回答

除了 JCP 的回答,我还想补充一些细节。充其量,最大池化不是降低特征矩阵复杂度的最佳方法,因此过拟合/欠拟合和改进模型泛化(对于平移不变类)。

然而,随着 JCP 开始流行......这种方法存在问题。Hinton 或许在他的演讲中总结了CNN 出了什么问题。这也为他的新颖架构胶囊网络或只是胶囊提供了动力。

正如他所说,主要问题不是平移方差本身,而是姿势方差。具有最大池化的 CNN 不仅能够处理简单的转换,如翻转或旋转,而且没有太多麻烦。问题伴随着复杂的变换,因为如果现实世界的示例包含倒置的椅子、侧放的椅子等,学习到的关于椅子朝前的特征对类表示没有太大帮助。

然而,这里有很多工作要做,主要限于两个领域。那些是新颖的架构/方法以及从图像中推断出 3d 结构(通过 CNN 调整)。这个问题是几十年来研究人员的最大动力之一,即使是大卫马尔的原始草图。

最大池化还不错,它只取决于您使用卷积网络的目的。例如,如果您正在分析对象并且对象的位置很重要,则不应使用它,因为平移方差;如果您只需要检测一个对象,它可以帮助减少您传递到下一个卷积层的矩阵的大小。因此,这取决于您要使用 CNN 的应用程序。