考虑以下摘录自Eli Stevens 等人的《使用 PyTorch进行深度学习》教科书“使用卷积进行概括”一章的摘录。
下采样原则上可以以不同的方式发生。将图像缩小一半相当于将四个相邻像素作为输入并产生一个像素作为输出。我们如何根据输入值计算输出值取决于我们自己。我们可以
- 平均四个像素。这种平均池化在早期是一种常见的方法，但在某种程度上已经失宠。
- 取四个像素中的最大值。这种称为最大池化的方法是目前最常用的方法，但它的缺点是丢弃了其他四分之三的数据。
- 执行一个跨步卷积，其中只有每个-th 像素被计算。一个步长为 2 的卷积仍然包含来自前一层的所有像素的输入。文献显示了这种方法的前景，但它还没有取代最大池化。
该段落提到研究社区更倾向于最大池而不是平均池。这种偏见有合理依据吗？
我在Quora上找到了一个很好的解释。
最大池化提取最显着的特征——边缘、尖点等等。
平均池运行平稳 - 收集与图像的任何部分相关的特征。
最大池化抛出一些信息，可以认为是某种“遗忘”的感觉，而平均池化依赖于整个输入，尽管输出表示是压缩的。
在某些情况下，这些操作中的每一个都可能不利于特征提取（来自此处）：
在第一种情况下， Max Pooling将产生简单的白色背景，而在第二种情况下，Average pooling将产生浅灰色条带（尽管我认为它应该比描述的更轻）。
可能混合这两种方法是有意义的，并且将一半的过滤器与Max Pooling 合并，另一半与Average Pooling 合并，尽管我不知道在文献中使用这种方法。
最灵活和最有表现力的方法是跨步卷积，例如，平均池化是它的一个特例，但它为存储新参数引入了一定的（尽管不大）额外成本。