整流线性单元 (ReLU) 仅使神经元的输出为非负值。然而，网络的参数可以并且将会根据训练数据变为正数或负数。

以下是我现在能想到的两个原因，可以（直观地）证明为什么某些参数会变为负数：

1. 参数的正则化（又名权重衰减）；参数值的变化使预测成为可能，如果参数以零为中心（即它们的平均值接近于零），那么它们的$\ell 2$norm（这是一个标准的正则化器）很低。

2. 尽管层的输出相对于层参数的梯度取决于层的输入（假设前一层通过 ReLU 传递其输出，则始终为正），但是，误差的梯度（来自离最终输出层更近的层）可能是正数或负数，这使得 SGD 在采取下一个梯度步骤后可以使某些参数值变为负数。更具体地说，让$I$,$O$， 和$w$表示神经网络中层的输入、输出和参数。另外，让$E$是一些训练样本引起的网络的最终误差。相对于误差的梯度$w$计算为$\frac{\partial E}{\partial w} = \left( \sum_{k=1}^K\frac{\partial E}{\partial O_k} \right) \cdot \frac{\partial O_k}{\partial w}$; 注意$O_k = O, \forall k$（见下图）：

想象一下，您有最佳权重，这些权重都是非负的。

现在反转一些输入变量$x'_i = -x_i$. 此设置的最佳网络是$\{x'_i,y\}$边缘倒置，所以新的权重是非正的。

除非您使用其他激活函数，例如 Leaky ReLU。第一个层之后的校正权重是非负的，无论训练多少个 epoch。