您确实可以做到这一点，请参阅“追求简单：全卷积网络”。池化为您提供了一定程度的平移不变性，这可能有帮助，也可能没有帮助。此外，池化比卷积计算更快。不过，您始终可以尝试用 stride 代替卷积池，看看哪种效果更好。

当前的一些作品使用平均池化（Wide Residual Networks，DenseNets），其他作品使用带步幅的卷积（DelugeNets）

显然最大池化有帮助，因为它提取了图像最清晰的特征。因此，给定一张图像，最清晰的特征是图像的最佳低级表示。https://www.quora.com/What-is-the-benefit-of-using-average-pooling-rather-than-max-pooling

但是根据 Andrew Ng 的深度学习讲座，最大池效果很好，但没有人知道为什么。引用->“但我不得不承认，我认为人们使用最大池化的主要原因是因为在很多实验中发现它运行良好，......我不知道有谁完全知道这是否是真实的根本原因。”

池化主要有助于提取清晰和平滑的特征。这样做也是为了减少方差和计算。最大池有助于提取边缘、点等低级特征。而平均池用于平滑特征。如果时间限制不是问题，那么可以跳过池化层并使用卷积层来做同样的事情。参考这个。