机器算法验证 - 逻辑回归与逻辑分布有何关系？ - 吾爱随笔录

逻辑回归与逻辑分布有何关系？

机器算法验证回归物流造型物流配送

2022-04-14 00:54:17

我们都知道逻辑回归是通过逻辑函数来计算概率的。对于依赖分类随机变量 $y$ 和一组 $n$ 预测因子 $\textbf{X} = [X_1 \quad X_2 \quad \dots \quad X_n]$ 概率 $p$ 是

p = P (y = 1 | X) = \frac{1}{1 + e^{- (α + β X)}}

$p = P(y=1|\textbf{X}) = \frac{1}{1 + e^{-(\alpha + \boldsymbol{\beta}\textbf{X})}}$

逻辑分布的 cdf 由其尺度和位置 $s$ $\mu$

F (x) = \frac{1}{1 - e^{- \frac{x - μ}{s}}}

$F(x) = \frac{1}{1 - e^{-\frac{x - \mu}{s}}}$

因此，对于很容易看出 $\textbf{X} = X_1$

s = \frac{1}{β}, μ = - α s

$s = \frac{1}{\beta}, \quad \mu = -\alpha s$

通过这种方式，我们映射了 sigmoid 曲线的两种形式。 $\textbf{X}$ 有多个预测变量时，这种映射如何工作？说 $\textbf{X} = [X_1 \quad X_2]$ ，我从三维角度看到的内容如下图所示。

因此， $\textbf{s} = [s_1 \quad s_2]$ 和 $\boldsymbol{\mu} = [\mu_1 \quad \mu_2]$ 将变为

s = β^{- 1}, μ = - α s

$\textbf{s} = \boldsymbol{\beta}^{-1}, \quad \boldsymbol{\mu} = -\alpha\textbf{s}$

和 $p$ 将来自 $\textbf{X}$ 中的参数和预测变量的线性组合。逻辑回归函数的未知参数与逻辑分布的 cdf 相关的方式是我在这里试图理解的。如果有人可以就此事提供见解，我将很高兴。

2个回答

定义逻辑回归的一种方法是将其引入为其中是一个线性预测器。这只是说明模型而没有说明它的来源。

P (Y = 1 ∣ X = x) = \frac{1}{1 + e^{- η (x)}}

$\DeclareMathOperator{\P}{\mathbb{P}} \P(Y=1 \mid X=x) = \frac{1}{1+e^{-\eta(x)}}$

η (x) = β^{T} x

$\eta(x)=\beta^T x$

或者，我们可以尝试从一些基本原理开发模型。假设可能存在某种潜在的、潜在的（不可直接测量的）压力或抗压力，我们用表示它，它决定了某个结果的概率。可能是死亡（如剂量反应研究）或违约，如信用风险建模。有一些分布取决于，例如由 cdf （累积分布函数）给出。假设感兴趣的结果（）发生在对于某个阈值时。然后 $\theta$ $\theta$ $x$ $F(\theta;x)$ $Y=1$ $\theta \le C$ $C$

P (Y = 1 ∣ X = x) = P (θ \leq C ∣ X = x) = F (C; x)

$\P(Y=1 \mid X=x)=\P(\theta \le C\mid X=x) =F(C;x)$ 现在物流分布wiki有cdf因此，如果我们假设潜在变量具有我们最终得到的逻辑分布，假设线性预测器表示通过 : 所以在简单回归我们得到截距和斜率。

\frac{1}{1 + e^{- \frac{x - μ}{σ}}}

$\frac1{1+e^{-\frac{x-\mu}{\sigma}}}$

θ

$\theta$

η (x)

$\eta(x)$

μ

$\mu$

μ = β^{T} x

$\mu=\beta^T x$

P (Y = 1 ∣ x) = \frac{1}{1 + e^{- \frac{C - β^{x}}{σ}}}

$\P(Y=1\mid x)= \frac1{1+e^{-\frac{C-\beta^x}{\sigma}}}$

C / σ

$C/\sigma$

β_{1} / σ

$\beta_1/\sigma$

如果潜在变量具有其他分布，我们将获得 logit 模型的替代方案。例如，潜在变量的正态分布导致概率。与此相关的帖子是 Logistic Regression - Error Term and its Distribution。

一种思考方式是考虑逻辑回归的潜在变量解释。在这种解释中，我们考虑的线性模型，这是一个潜在的（即未观察到的）变量，表示的“倾向” 。 $Y^*$ $Y=1$

所以，我们有。我们将 Y 的观测值Y，其中是指示函数。 $Y^*=X\beta + \epsilon$ $Y$ $Y=I(Y^*>0)$ $I(.)$

当的逻辑分布分布时，逻辑回归模型正确地描述了也就是说，是的正确模型。当分布为均值为 0 方差为 1 的正态分布时，概率回归模型正确地描述了假设概率模型，两个变量和之间的多和的隐含相关性。 $\epsilon$ $\frac{\pi^2}{3}$ $Y$ $P(Y=1)=\frac{1}{1+e^{-X \beta}}$ $Y$ $\epsilon$ $Y$ $Y_1$ $Y_2$ $Y^*_1$ $Y^*_2$

潜在变量解释的一个好处是，模型系数可以解释为的线性变化，对应于保持其他变量不变的预测变量的 1 个单位变化，这与逻辑回归经常使用的对数优势比解释相反（而且似乎几乎不可能解释概率回归系数）。的建模隐含均值和标准差，的标准化单位有多少相关，就像您对任意比例的连续结果一样。此外，无论是否使用逻辑、概率或其他类型的回归模型或误差分布，这种解释都有效。 $Y^*$ $Y^*$ $Y^*$

其它你可能感兴趣的问题

上一篇为什么我们试图捕捉可变性？下一篇线性回归在哪里适合偏差-方差权衡？