机器算法验证 - ReLU 激活函数的导数是什么？ - 吾爱随笔录

机器算法验证自习神经网络

2022-01-20 15:35:34

ReLU 激活函数的导数定义为：

R e L U (x) = m a x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

那么在函数中存在不连续性的特殊情况呢？ $x=0$ ?

1个回答

导数是：

f (x) = {\begin{cases} 0 & if x < 0 \\ 1 & if x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

并且未定义 $x=0$ .

它未定义的原因 $x=0$ 是它的左导数和右导数不相等。

其它你可能感兴趣的问题