平滑函数通常定义为$n$-次连续可微，这意味着$f$,$f'$,$\dots$,$f^{(n - 1)}$都是可微的并且$f^{(n)}$是连续的。此类函数也称为$C^n$职能。

这可能是一个模糊的术语。有些人甚至可能会扩展定义并说任何连续函数都是平滑的（尽管如果我亲眼看到它在使用中，我会有点惊讶）。其他人写平滑表示无限可微：例如$f(x) = e^x$可以根据需要区分多次。

我想作者试图指出的是 ReLU 整流器函数不可微。即使您使用将 ReLU 视为处处可微的“技巧” ¹，您仍然会得到一个不连续的导数：

因此，可以公平地说，ReLU 在相同意义上不是平滑的$\tanh$函数，它有一个连续的导数（事实上，你可以继续并考虑更高的导数）。

¹如果这听起来不熟悉，请参阅第 1 页。Bengio 等人的深度学习第188页。我们可以绕过 ReLU 函数在零处不可微的事实，只需假装它具有明确定义的零或一导数。也许有点不诚实，但效果很好。