当神经网络中的梯度可以遵循多条路径到达同一参数时，来自源的不同梯度值通常可以相加，因为前向操作也是求和和$\frac{d}{dx}(y+z) = \frac{dy}{dx} + \frac{dz}{dx}$.

内核梯度（图像区域上的总和）已经是这种情况，重叠聚合也同样如此，包括最大值、最小值或平均值。

因此，在第一种情况下，如果您在输入参数上有一个最大池$[a_0, a_1, a_2, a_3, a_4]$最大函数$m_0 = max(a_0, a_1, a_2)$,$m_1 = max(a_2, a_3, a_4)$重叠在$a_2$, 和梯度$\nabla_{\mathbf{m}} J = [\frac{\partial J}{\partial m_0}, \frac{\partial J}{\partial m_1}]$，那么你会将这些梯度分配给向量$\mathbf{a}$根据每组中的哪些项目是该组的最大值，当它们重叠时添加它们。

例子：

如果$\mathbf{a} = [3,0,1,2,0]$和 $\nabla_{\mathbf{m}}J = [0.7, 0.9]$， 然后$\nabla_{\mathbf{a}}J = [0.7, 0, 0, 0.9, 0]$

如果$\mathbf{a} = [3,0,4,2,0]$和 $\nabla_{\mathbf{m}}J = [0.7, 0.9]$， 然后$\nabla_{\mathbf{a}}J = [0, 0, 1.6, 0, 0]$

表示最大池的 x(h,w) 输入和 y(h,w) - 输出。

然后$\frac{dL}{dx}(h,w)= \sum \frac{dL}{dy}(h',w')$

从 x(hw) 得到的所有 y(h',w') 使得 y(h',w') = x(h,w)。

与此相关的第 11 页