ELU 和 ReLU 在“左侧”都有零或消失的梯度。这仍然是一个明显的背离$\tanh$或逻辑单元，因为这些功能是上下限定的；对于 ELU 和 ReLU 单元，“右侧”的梯度更新会更大。作为演示，计算每个的导数并注意逻辑和$\tanh$单位通常在 0 左右的某个区间内具有较小的输入梯度，例如$[-2,2]$比 ELU 和 PReLU；$\tanh$仅在零处获得 1 的梯度，而逻辑单元根本没有！另一方面，对于所有正输入，ReLU/ELU/PReLU 的梯度为 1。

另一方面，PReLU 避免在任何地方都有零梯度是正确的。我不知道有一项研究详尽地比较了 ELU、ReLU 和 PReLU 单元。在神经网络中的这些实际创新与对它们为何运作良好的理论理解之间还有很长的路要走。