如何模拟逻辑回归的人工数据？

机器算法验证 r 回归 物流 广义线性模型 模拟
2022-01-23 07:44:39

我知道我在对逻辑回归的理解中遗漏了一些东西，并且非常感谢任何帮助。

据我了解，逻辑回归假设给定输入的“1”结果的概率是输入的线性组合，通过逆逻辑函数传递。这在以下 R 代码中得到了例证：

#create data:
x1 = rnorm(1000)           # some continuous variables 
x2 = rnorm(1000)
z = 1 + 2*x1 + 3*x2        # linear combination with a bias
pr = 1/(1+exp(-z))         # pass through an inv-logit function
y = pr > 0.5               # take as '1' if probability > 0.5

#now feed it to glm:
df = data.frame(y=y,x1=x1,x2=x2)
glm =glm( y~x1+x2,data=df,family="binomial")

我收到以下错误消息：

警告消息：1：glm.fit：算法未收敛 2：glm.fit：拟合概率为 0 或 1

我已经使用 R 有一段时间了；足以知道我可能是罪魁祸首..这里发生了什么？

2个回答

不，响应变量yi是一个伯努利随机变量，取值1有概率pr(i).

> set.seed(666)
> x1 = rnorm(1000)           # some continuous variables 
> x2 = rnorm(1000)
> z = 1 + 2*x1 + 3*x2        # linear combination with a bias
> pr = 1/(1+exp(-z))         # pass through an inv-logit function
> y = rbinom(1000,1,pr)      # bernoulli response variable
> 
> #now feed it to glm:
> df = data.frame(y=y,x1=x1,x2=x2)
> glm( y~x1+x2,data=df,family="binomial")

Call:  glm(formula = y ~ x1 + x2, family = "binomial", data = df)

Coefficients:
(Intercept)           x1           x2  
     0.9915       2.2731       3.1853  

Degrees of Freedom: 999 Total (i.e. Null);  997 Residual
Null Deviance:      1355 
Residual Deviance: 582.9        AIC: 588.9

如果提供概率或比例作为目标，LogisticRegression 适合拟合，而不仅仅是 0/1 结果。

import numpy as np
import pandas as pd
def logistic(x, b, noise=None):
    L = x.T.dot(b)
    if noise is not None:
        L = L+noise
    return 1/(1+np.exp(-L))

x = np.arange(-10., 10, 0.05)
bias = np.ones(len(x))
X = np.vstack([x,bias]) # Add intercept
B =  [1., 1.] # Sigmoid params for X

# True mean
p = logistic(X, B)
# Noisy mean
pnoisy = logistic(X, B, noise=np.random.normal(loc=0., scale=1., size=len(x)))
# dichotomize pnoisy -- sample 0/1 with probability pnoisy
dichot = np.random.binomial(1., pnoisy)

pd.Series(p, index=x).plot(style='-')
pd.Series(pnoisy, index=x).plot(style='.')
pd.Series(dichot, index=x).plot(style='.')

在这里，我们有逻辑回归的三个潜在目标。p这是真实/目标比例/概率，pnoisy它是 p，在对数优势尺度中添加了正常噪声，并且dichot，它被 pnoisy 视为二项式 PDF 的参数，并从中采样。你应该测试所有 3 - 我发现一些开源 LR 实现不适合p。

根据您的应用程序，您可能更喜欢 pnoisy。

在实践中，您还应该考虑噪声在您的目标应用程序中可能是如何形成的，并尝试对其进行模拟。

其它你可能感兴趣的问题
上一篇是否有测试来确定 GLM 过度分散是否显着？ 下一篇监督机器学习中的类不平衡