ReLU 的导数对于 x < 0 为 0，对于 x > 0 为 1。如果泄漏的 ReLU 对于负值具有斜率，例如 0.5，则对于 x < 0，导数将为 0.5，对于 x > 0，导数为 1。

对于某些，我们有泄漏的 relu除非 ，否则 泄漏的 ReLU 函数在处不可微。$c$$f(x)$

$$\begin{align} f(x)&=\begin{cases} x & x \ge 0\\ cx & x<0 \end{cases}\\ f^\prime(x)&=\begin{cases} 1 & x > 0 \\ c &x<0 \end{cases} \end{align} .$$ $x=0$$c=1$

通常，选择。的特例是普通的ReLU，的特例只是恒等函数。选择意味着许多此类层的组合可能会呈现爆炸梯度，这是不希望的。此外，选择会使成为形状类似于的非单调函数。非单调函数最近变得越来越流行（例如，mish 和 swish），但我不知道对非单调泄漏 ReLU 的研究。$0<c<1$$c=0$$c=1$$c>1$$c<0$$f$$V$