sigmoid 函数的导数就是这种形式,softmax 函数也是。这是设计使然,还是某些似乎适用于 ML 模型/神经网络的奇怪巧合?
为什么数据科学中使用的这么多函数都有 f(x)*(1-f(x)) 形式的导数?
数据挖掘
机器学习
神经网络
激活函数
2021-09-26 00:49:09
1个回答
Sigmoid函数是softmax的部分情况,当类数. 这就是为什么它们的衍生物的相似性不应该让你感到惊讶。
为什么数据科学中使用的这么多函数都有 f(x)*(1-f(x)) 形式的导数?
如果考虑以下微分方程
您将在表格中找到通用解决方案
因此,从某种意义上说,具有此属性的函数并不多:它们“非常像” sigmoid 函数。
其它你可能感兴趣的问题