为什么我们在逻辑回归中使用自然指数?

机器算法验证 物流 S形曲线
2022-04-05 03:36:13

我想直观地了解在逻辑回归中使用的 sigmoid 函数中使用自然指数的好处。

为什么它必须是而不是ex2x

3个回答

因为为底很方便,而且您是否可以自由缩放系数估计也没关系。e

的函数形式会改变你的解释力吗?不。axb1+axb

解释:

对于 softmax 函数,我在这里给出了基本相同的答案。

观察因此:exb(lna)=axb

axb1+axb=exb~1+exb~

其中因此,在 sigmoid 函数中不同的基数向量相同。b~=(lna)beb

二元回归中,可以使用任何cdf 将概率以广义线性方式 P(Y=1|x)x

P(Y=1|x)=Φ(xTβ)

  1. 逻辑 cdf,Φ(t)=1/{1+1/et}
  2. 概率 (正常) cdf,Φ(t)=tφ(x)dx
  3. log-log cdf,Φ(t)=exp{exp(x)}

逻辑提供了一些优势,因为使条件回归成为指数族模型。

对于伯努利似然,方差是均值的函数,使得:

var(Y)=E(Y)(1E(Y))

事实证明,一个 sigmoid 函数,也称为“反向链接”(用于逻辑回归)函数:S(x)=exp(x)1+exp(x)具有以下属性:

xS(X)=S(X)(1S(X))

事实证明,该属性适用于所有使用指数族规范参数化的 GLM。