神经网络对翻译不是不变的，而是等变的，

不变性与等变性

假设我们有输入$x$和输出$y=f(x)$空间之间的一些地图$X$和$Y$. 我们应用转型$T$在输入域中。对于一般地图，输出会以一些复杂且不可预测的方式发生变化。然而，对于某些类别的地图，输出的变化变得非常容易处理。

不变性意味着应用地图后输出不会改变$T$. 即：

对于地图的 CNN 示例，翻译不变的是GlobalPooling操作。

等方差意味着对称变换$T$在输入域上导致对称变换$T^{'}$在输出上。这里$T^{'}$可以是同一张地图$T$, 恒等映射 - 简化为不变性或其他某种变换。

这张图片是平移等变的说明。

CNN中操作的等变

• 与 的卷积stride=1： $$f(T(x)) = T f(x)$$ 输出特征图在相同的方向和步数上移动。
• 下采样操作。stride=1与,的卷积Pooling（非全局）： $$f(T_{1/s}(x)) = T_{1/s} f(x)$$ 它们与翻译子组等价，其中涉及具有整数步幅的翻译。
• GlobalPooling： $$f(T(x)) = f(x)$$ 这些对于任意移位都是不变的，这个属性在分类任务中很有用。

层的组合

堆叠多个等变层，您可以获得一个整体的等变架构。

对于分类层，将其放在最后是有意义GlobalPooling的，以便 NN 为移位图像输出相同的概率。

对于分割或检测问题架构应该与相同的地图等变$T$，以便将边界框或分割掩码平移与输入上的变换相同的量。

非全局下采样操作通过平移整数倍的步幅来减少对子组的等方差。

所有卷积网络（有或没有最大池化）都是平移不变的（AKA 空间不变），因为它们的滤波器在图像中的每个位置上滑动。这意味着，如果图像中的任何地方都存在“匹配”过滤器的模式，那么至少应该激活一个神经元。

另一方面，最大池化与空间不变性无关。它只是一种正则化技术，通过缩小网络中的激活层来帮助减少网络中的参数数量。这可以帮助对抗过度拟合，尽管这不是绝对必要的。或者，神经网络可以通过使用步长为 2 而不是 1 的卷积层来实现相同的效果。

FCN 可以并且通常具有下采样操作。例如，u-net具有下采样（更准确地说，是最大池化）操作。FCN 和常规 CNN 的区别在于前者没有全连接层。有关更多信息，请参阅此答案。

因此，FCN 继承了 CNN 的相同属性。没有什么是 CNN（具有完全连接的层）可以做的 FCN 做不到的。实际上，您甚至可以使用卷积（使用与输入体积具有相同形状的内核）来模拟全连接层。