ReLU 及其所有变体（ReLU-6 除外）都是线性的，即$y = x$对于大于或等于 0 的值。

这给了 ReLU，特别是 ELU 一个优势，比如：

• 线性意味着斜率不会平稳或饱和$x$变大。因此，消失的梯度问题得到了解决。

现在，图表$y = log( 1 + e^x )$ 对于 > 0 的值不是线性的。

对于较大的负值，该图会产生非常接近零的值。这也在 sigmoid 中发现，其中较大的值会产生完全饱和的激活。因此，$y = log( 1 + e^x )$ 可能会引发 sigmoid 和 tanh 遭受的问题。

关于 ELU：

ELU 对所有负值都有一条对数曲线，即 $y = \alpha( e^x - 1 )$. 它不会在一定程度上产生饱和燃烧，但会在较大的负值时饱和。

请参阅此处了解更多信息。

因此， $y = log( 1 + e^x )$ 不使用是因为负值的早期饱和以及大于 0 的值的非线性。这可能会产生问题，甚至会降低 ReLU 和变体表现出的一些特征。