数据挖掘 - Logistic回归中对数赔率和加权和之间的关系 - 吾爱随笔录

数据挖掘逻辑回归数学

2022-02-23 16:28:02

我已经阅读了几篇关于逻辑回归的文章/教程，并且遇到了对数赔率等于特征加权和的想法。

即如果 $p$ 是样本属于正类的概率（目标变量：1）， $(1-p)$ 是它属于负数的概率（目标变量：0）。然后，对于输入特征 $x_1$ , $x_2$ , $x_3$ ... $x_n$ 和权重 $\theta_0, \theta_1, \theta_2... \theta_n$ ，他们写

l o g (\frac{p}{1 - p}) = x_{0} θ_{0} + x_{1} θ_{1} + x_{2} θ_{2} \dots x_{n} θ_{n}

$\begin{equation} log\bigg(\frac{p}{1-p}\bigg) = x_0 \theta_0 + x_1 \theta_1 + x_2 \theta_2 \dots x_n \theta_n \end{equation}$

在哪里 $x_0$ 是偏见

现在我知道了什么是特征，我知道了什么是特征的加权和，我知道几率，我知道对数，但我无法理解的是，这两个数量如何相等？我浏览了很多在线文章，但他们总是说这两者是平等的，但他们没有解释如何。

1个回答

普通回归、逻辑回归、泊松回归都是广义线性模型（GLM）的例子。

一个 GLM 可以分解为 3 个组件：

随机分量：目标变量 $Y_i$ 假设它遵循一个分布 $E(Y_i)$ 和 $Var(Y_i)$
系统成分：特征变量的线性组合，称为线性预测器； $\gamma_i= \beta_{0} + \beta_1{x_1} \dots + \beta_n{x_n}$
链接组件：链接功能， $g(\cdot)$ ，将随机分量连接到系统分量。如果 $E(Y_i) = u_{i}$ ，则链接函数连接 $\mu_{i}$ 到 $\gamma_{i}$ 通过一些功能 $g(\cdot)$ ，然后我们就有了 $g(\mu_i)= \beta_{0} + \beta_1{x_1} \dots + \beta_n{x_n}$ . 而且， $E(Y_i) = \mu_i = g^{-1}(\beta_{0} + \beta_1{x_1} \dots + \beta_n{x_n})$

线性回归的链接函数是识别链接： $g(\mu_i) = \mu_i$

逻辑回归的链接函数是 logit 链接： $g(\mu) = log(\frac{\mu}{1-\mu})$ . logit 链接在以下情况下使用 $\mu$ 取 0 到 1 之间的值，因为函数映射到 -infinity 到 infinity。

我故意略读了很多细节，GLM 是一个丰富的主题。我建议阅读更多有关它的信息，以下是一些参考资料：

参考：

希望这可以帮助！

其它你可能感兴趣的问题