如何推导出 LeCun 提出的修改后的 tanh 激活?

数据挖掘 神经网络 激活函数 数学
2021-09-21 00:05:35

在“Efficient Backprop”(http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf)中,LeCun 等人提出了一种修改后的 tanh 激活函数,形式如下:

f(x)=1.7159tanh(23x)

他们认为:

  • 用多项式更容易近似
  • 据说它符合它的二阶导数在1中最大的目标

我尝试从以下形式的函数开始:f(x)=atanh(bx)并得出ab的值以匹配上述属性。

知道这些常数是如何得出的吗?在什么假设下?它是否符合其预期的构造特性?

0个回答
没有发现任何回复~