在“Efficient Backprop”(http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf)中,LeCun 等人提出了一种修改后的 tanh 激活函数,形式如下:
他们认为:
- 用多项式更容易近似
- 据说它符合它的二阶导数在1中最大的目标
我尝试从以下形式的函数开始:并得出和的值以匹配上述属性。
知道这些常数是如何得出的吗?在什么假设下?它是否符合其预期的构造特性?
在“Efficient Backprop”(http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf)中,LeCun 等人提出了一种修改后的 tanh 激活函数,形式如下:
他们认为:
我尝试从以下形式的函数开始:并得出和的值以匹配上述属性。
知道这些常数是如何得出的吗?在什么假设下?它是否符合其预期的构造特性?