机器算法验证 - 如何拟合广义逻辑函数？ - 吾爱随笔录

如何拟合广义逻辑函数？

机器算法验证物流广义线性模型

2022-03-28 11:47:28

我正在尝试拟合预测概率的模型： $h(X,B) \rightarrow (0,1)$

令我震惊的是，在很多情况下，逻辑回归似乎是一个糟糕的链接函数，我期望 S 曲线，但我也期望预测概率的界限远大于 0，远小于 1。

例如，假设我想预测 10 年内首次破产的可能性，并且我有一些特征 $x$ （例如，贷款违约的年数）。在这里，我可能期望，对于所有 x， $p>>0$ 因为很多人因为与贷款违约无关的原因而破产，而且 $p<<1$ 因为超过某个时间点，更多的贷款违约年数不会增加新破产的风险，因为贷款违约年数并不能完全决定概率，你会期望 $p<<1$ .

用逻辑回归拟合这样的概率函数会导致拟合非常差：

上面的目标函数是“广义逻辑函数”的一个（特例）。在这种情况下：

p r o b = p_{m i n} + (p_{m a x} - p_{m i n}) * l o g i s t i c (X, B)

${prob} = p_{min} + (p_{max}-p_{min})*logistic(X,B)$

有逻辑输入 $X$ 和系数 $B$ . 有没有好的优化方法 $p_{min}$ , $p_{max}$ 和 $B$ 对于这种类型的函数，使得回归误差的测量最小化（对数误差、平方误差......），或者类似的“S”形模型可能比逻辑曲线提供更好的拟合？

1个回答

给定二元响应 $y_i$ 和协变量 $x_i$ , $i=1,2,\dots,n$ ，您的模型的可能性是

L (β_{0}, β_{1}, p_{min}, p_{max}) = \prod_{i = 1}^{n} p_{i}^{y_{i}} (1 - p_{i})^{1 - y_{i}}

$L(\beta_0,\beta_1,p_\text{min},p_\text{max})=\prod_{i=1}^n p_i^{y_i}(1-p_i)^{1-y_i}$ 其中每个

p_{i} = p_{min} + (p_{max} - p_{min}) \frac{1}{1 + \exp (- (β_{0} + β_{1} x_{i})} .

$p_i=p_\text{min} + (p_\text{max} - p_\text{min})\frac1{1+\exp(-(\beta_0 + \beta_1 x_i)}.$ 只需编写一个计算此日志的函数，然后应用一些通用优化算法来针对四个参数在数值上最大化它。例如，在 R 中：

# the log likelihood
loglik <- function(par,y,x) {
  beta0 <- par[1]
  beta1 <- par[2]
  pmin <- par[3]
  pmax <- par[4]
  p <- pmin + (pmax - pmin)*plogis(beta0 + beta1*x)
  sum(dbinom(y, size=1, prob=p, log=TRUE))
}
# simulated data
x <- seq(-10,10,len=1000)
y <- rbinom(n=length(x),size=1,prob=.2 + .6*plogis(.5*x))
# fit the model
optim(c(0, 0.5 ,.1, .9), loglik, control=list(fnscale=-1), y=y,x=x, lower=c(-Inf,-Inf,0,0),upper=c(Inf,Inf,1,1))

请注意，要测试较低平台的证据 $p_\text{min}$ 在您的数据中，您的 $H_0:p_\text{min}=0$ 是在参数空间的边界和近似/渐近分布 $2(\log L(\hat\theta_1)-\log L(\hat\theta_0))$ 将是自由度为 1 和 0 的卡方分布的混合，请参阅 Self, SG & Liang, K. 非标准条件下最大似然估计量和似然比检验的渐近特性 J. Amer。统计学家。协会，1987，82，605-610。

在更简单的情况下，只有一个平台（所以 $p_\text{max}=1$ 或者 $p_\text{min}=0$ ) 该模型等价于零膨胀二元回归模型，可以使用例如glmmTMBR 包进行拟合。

其它你可能感兴趣的问题

上一篇了解 Word2Vec 下一篇循环方式的比较