Sigmoid 函数

数据挖掘 逻辑回归
2022-01-31 09:48:03

我们是如何得出用于计算概率的 sigmoid 函数的?

为什么不使用一些其他函数来“压缩”位于 [0, 1] 之间的值。甚至可能只是将这些值标准化,以便它们加起来等于一。

1个回答

我认为对 sigmoid 函数受欢迎程度的一个很好的解释是在这些讲义中(http://www.stat.cmu.edu/~cshalizi/uADA/12/lectures/ch12.pdf

  1. 最明显的想法是让p(x)是一个线性函数x. 一个组件的每一个增量x会增加或减少这么多的概率。这里的概念问题是p必须介于01, 线性函数是无界的。此外,在许多情况下,我们凭经验看到“收益递减”——变化p相同的数量需要更大的变化 x什么时候p已经比什么时候大(或小)了p接近1/2. 线性模型无法做到这一点。
  2. 下一个最明显的想法是让logp(x)是一个线性函数x,因此更改输入变量会将概率乘以固定数量。问题是对数仅在一个方向上是无界的,而线性函数则不是。
  3. 最后,最简单的修改logp具有无限范围的是逻辑(或 logit)变换,log(p(1p)) . 我们可以使它成为一个线性函数x不用担心无意义的结果。(当然结果仍然可能是错误的,但不能保证它们是错误的。)