为什么数据科学中使用的这么多函数都有 f(x)*(1-f(x)) 形式的导数?

数据挖掘 机器学习 神经网络 激活函数
2021-09-26 00:49:09

sigmoid 函数的导数就是这种形式,softmax 函数也是。这是设计使然,还是某些似乎适用于 ML 模型/神经网络的奇怪巧合?

1个回答

Sigmoid函数是softmax的部分情况,当类数K=2. 这就是为什么它们的衍生物的相似性不应该让你感到惊讶。

为什么数据科学中使用的这么多函数都有 f(x)*(1-f(x)) 形式的导数?

如果考虑以下微分方程

y=y(1y)

您将在表格中找到通用解决方案

y(x)=exc+ex=11+cex

因此,从某种意义上说,具有此属性的函数并不多:它们“非常像” sigmoid 函数。