机器算法验证 - 为什么整流线性单元被认为是非线性的？ - 吾爱随笔录

机器算法验证神经网络深度学习

2022-01-24 23:17:26

为什么整流线性单元(ReLU)的激活函数被认为是非线性的？

f (x) = max (0, x)

$f(x) = \max(0,x)$

当输入为正时，它们是线性的，并且根据我的理解，要解锁深度网络的代表能力，非线性激活是必须的，否则整个网络可以由单层表示。

1个回答

RELU 是非线性的。为了帮助你的直觉，考虑一个非常简单的网络，它有 1 个输入单元、2 个隐藏单元和 1 个输出单元。通过这个简单的网络，我们可以实现一个绝对值函数， $x$ $y_i$ $z$

z = max (0, x) + max (0, - x),

$z = \max(0, x) + \max(0, -x),$

或者看起来类似于常用的 sigmoid 函数的东西，

z = max (0, x + 1) - max (0, x - 1) .

$z = \max(0, x + 1) - \max(0, x - 1).$

通过将这些组合成更大的网络/使用更多的隐藏单元，我们可以逼近任意函数。

$\hskip2in$ RELU网络功能

其它你可能感兴趣的问题