对于非最大值没有梯度，因为稍微改变它们不会影响输出。此外，相对于实际达到最大值的输入，最大值与斜率 1 呈局部线性关系。因此，来自下一层的梯度只传递回达到最大值的神经元。所有其他神经元都获得零梯度。

所以在你的例子中， $\delta_i^l$ 将是一个全为零的向量，除了 $i^{*^{th}}$ 位置将获得一个值 $\left\{\delta_j^{l+1}\right\}$ 在哪里 $i^* = argmax_{i} (z_i^l)$

最大池化

所以假设你有一个 P 层，它位于 PR 层之上。那么前向传递将是这样的：

$P_i = f(\sum_j W_{ij} PR_j)$,

在哪里 $P_i$是层 P 的第 i 个神经元的激活，f 是激活函数，W 是权重。所以如果你推导出来，通过链式法则你会得到梯度流动如下：

$grad(PR_j) = \sum_i grad(P_i) f^\prime W_{ij}$.

但是现在，如果你有最大池化， $f = id$ 对于最大神经元和 $f = 0$ 对于所有其他神经元，所以 $f^\prime = 1$ 对于前一层的最大神经元和 $f^\prime = 0$对于所有其他神经元。所以：

$grad(PR_{max\ neuron}) = \sum_i grad(P_i) W_{i\ {max\ neuron}}$,

$grad(PR_{others}) = 0.$

@Shinvu 的答案写得很好，我想指出一个视频，它解释了 Max() 操作的梯度，这在一个快速掌握的计算图中。！

在实现 maxpool 操作（计算图中的计算节点-您的 NN 架构）时，我们需要一个函数创建一个“掩码”矩阵，以跟踪矩阵的最大值在哪里。True (1) 表示最大值在 X 中的位置，其他条目为 False (0)。我们跟踪最大值的位置，因为这是最终影响输出的输入值，因此也影响了成本。反向传播是计算相对于成本的梯度，所以任何影响最终成本的东西都应该有一个非零梯度。因此，反向传播会将梯度“传播”回影响成本的特定输入值。

也许我们写下函数的矩阵格式后，更容易理解池化层的导数max{x}=xW，其中x是张量。让我们看一个具有四个不同值的示例，x = [x1, x2, x3, x4]并且x1是最大值，例如max{x} = x1。现在，max{x}可以写成矩阵乘法，这样xW or Wx', where W = [I(x1>x2)*I(x1>x3)*I(x1>x4), I(x2>x1)*I(x2>x3)*I(x2>x4), I(x3>x1)*I(x3>x2)*I(x3>x4), I(x4>x1)*I(x4>x2)*I(x4>x3)]' = [1, 0, 0, 0]', whereI(.)是比较两个值的识别函数。通常，反向传播算法需要两个导数 ---dWx/dx =W' (W transpose)和dWx/dW = x'--- 来分别更新前一层和当前层的权重或偏差。但是，在最大池化的情况下，不需要更新W. 因为我们可以并且已经写下了最大池化层函数的封闭形式，即W=[I(x1>x2)*I(x1>x3)*I(x1>x4), I(x2>x1)*I(x2>x3)*I(x2>x4), ...]'. 现在要dWx/dx知道，我们有dWx/dx =W' = [1, 0, 0, 0]，W'然后可以作为一个成员适当地插入到派生链中。

通常，max{x}可以写成线性函数，这样Wx (or xW)， 其中W是一个矩阵，其条目是一组识别函数的生成，例如I(x1>x2)*I(x1>x3)*I(x1>x4)。的一个性质W是，在一列中，只有一个条目是1，其他的都是0。由于这个线性函数的权重已经确定，不需要再使用梯度下降来更新它了。至于max{x}使用链式法则更新前几层的权重和偏差的情况，我们知道dWx/dx =W'。