简短的回答：是的

视觉上：

如果您从wikipedia看到图像，它表明 ReLU（蓝线）是非线性的（线不是直的，它变成 0）。您还可以在维基百科中检查线性函数的“视觉”定义：

“在微积分和相关领域中，线性函数是图形为直线的函数”

数学上：

一个变量的线性函数可以定义为：

$f(x) = ax + b$

如果您在 2D 中绘制该函数，它将为您提供一条直线。那么，多变量线性函数的形式：

$f(x_1, x_2, ..., x_n) = a_1x_1 + a_2x_2 + ... + a_nx_n + b$

如果您再次以正确的尺寸绘制该函数，它也会给您一条直线。如果你仔细地操作，它类似于发生在神经元中的计算。这就是为什么神经元加法和乘法是一个线性函数：

$f(x_1, x_2, ..., x_n) = w_1x_1 + w_2x_2 + ... + w_nx_n + b$

添加更多层的线性函数不会使函数变得“复杂”，例如，如果你有$f(x)$像下面然后你再放一层线性函数$g(x)$在它的上面：

$f(x) = ax + b$

$g(x) = cf(x) + d = cax + cb + d$

因为神经网络被训练来找到$a,b,c,d$，我们可以将上式中的常数分组，然后改写为：

$h(x) = mx + n$

和$m=ca$和$n=cb+d$. 所以没有非线性函数，神经网络层是没有用的，它只会给你另一个“简单”的线性函数

ReLU 公式是$f(x)=max(0,x)$，它会产生非线性，因为您无法写入线性函数格式。当您在其上添加更多图层时，使用此功能会给您带来“复杂性”。

根据定义，ReLU 是非线性的

在微积分和相关领域中，线性函数是图形为直线的函数，即一阶或零阶的多项式函数。

由于 ReLU 函数的图$f(x) = \max(0,x)$不是一条直线（等效地，它不能用形式来表示$f(x) = mx + c$)，根据定义它不是线性的。

ReLU是分段线性的

ReLU在边界上是 分段线性的$(-\inf,0]$和$[0,\inf)$：

$$f(x) = \max(0,x) = \begin{cases} 0 & x \le 0\\ x & x \gt 0\\ \end{cases}$$

但这在整个域上仍然是非线性的：