Hinton 不相信池化操作(视频)。我也听说这几年很多max-pooling层都被卷积层取代了,是真的吗?
最大池化真的很糟糕吗?
人工智能
深度学习
卷积神经网络
汇集
最大池化
2021-11-17 10:24:07
2个回答
除了 JCP 的回答,我还想补充一些细节。充其量,最大池化不是降低特征矩阵复杂度的最佳方法,因此过拟合/欠拟合和改进模型泛化(对于平移不变类)。
然而,随着 JCP 开始流行......这种方法存在问题。Hinton 或许在他的演讲中总结了CNN 出了什么问题。这也为他的新颖架构胶囊网络或只是胶囊提供了动力。
正如他所说,主要问题不是平移方差本身,而是姿势方差。具有最大池化的 CNN 不仅能够处理简单的转换,如翻转或旋转,而且没有太多麻烦。问题伴随着复杂的变换,因为如果现实世界的示例包含倒置的椅子、侧放的椅子等,学习到的关于椅子朝前的特征对类表示没有太大帮助。
然而,这里有很多工作要做,主要限于两个领域。那些是新颖的架构/方法以及从图像中推断出 3d 结构(通过 CNN 调整)。这个问题是几十年来研究人员的最大动力之一,即使是大卫马尔的原始草图。
最大池化还不错,它只取决于您使用卷积网络的目的。例如,如果您正在分析对象并且对象的位置很重要,则不应使用它,因为平移方差;如果您只需要检测一个对象,它可以帮助减少您传递到下一个卷积层的矩阵的大小。因此,这取决于您要使用 CNN 的应用程序。
其它你可能感兴趣的问题