机器算法验证 - scikit-learn LogisticRegression 的损失函数 - 吾爱随笔录

scikit-learn LogisticRegression 的损失函数

机器算法验证物流 scikit-学习

2022-03-27 10:04:33

我无法理解 scikit-learn 用于拟合逻辑回归的损失函数，可以在此处找到。

具体来说，我对第二个学期有疑问。它似乎与通常的 MLE 标准非常不同。有人可以给我一些暗示这是从哪里来的吗？

min_{w, c} \frac{1}{2} w^{T} w + C \sum_{i = 1}^{n} \log (\exp (- y_{i} (X_{i}^{T} w + c)) + 1)

$\mathop {\min{\mkern 1mu} }\limits_{w,c} \frac{1}{2}{w^T}w + C\sum\limits_{i = 1}^n {\log } (\exp ( - {y_i}(X_i^Tw + c)) + 1)$

我认为通常逻辑回归的对数似然如下所示。显然，scikit-learn 目标函数中缺少以下第一项。

L L H = \sum_{i = 1}^{n} [y_{i} (X_{i}^{T} w + c) - \ln {1 + \exp (X_{i}^{T} w + c)}]

$LLH=\sum_{i=1}^n \left[{y_i}(X_i^Tw + c) - \ln\{1+\exp(X_i^Tw + c)\} \right]$

3个回答

由于逻辑函数的以下属性，这两者实际上（几乎）是等价的：

σ (x) = \frac{1}{1 + \exp (- x)} = \frac{\exp (x)}{\exp (x) + 1}

$\sigma(x) = \frac{1}{1+\exp(-x)} = \frac{\exp(x)}{\exp(x)+1}$

还

\sum_{i = 1}^{n} \log (1 + \exp (- y_{i} (X_{i}^{T} w + c))) = \sum_{i = 1}^{n} \log [(\exp (y_{i} (X_{i}^{T} w + c)) + 1) \exp (- y_{i} (X_{i}^{T} w + c))] = - \sum_{i = 1}^{n} [y_{i} (X_{i}^{T} w + c) - \log (\exp (y_{i} (X_{i}^{T} w + c)) + 1)]

$\sum_{i=1}^n \log ( 1 + \exp( -y_i (X_i^T w + c) ) ) \\ = \sum_{i=1}^n \log \left[ (\exp( y_i (X_i^T w + c) ) + 1) \exp( -y_i (X_i^T w + c) ) \right] \\ = -\sum_{i=1}^n \left[ y_i (X_i^T w + c) - \log (\exp( y_i (X_i^T w + c) ) + 1) \right]$

但是请注意，您的公式在“日志部分”中没有 $y_i$ ，而这个有。（我想这是一个错字）

我不认为缺少是一个错字： $y_i$

通常的对数损失（交叉熵损失）是：其中，而是逻辑函数。

- \sum_{i} [y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})],

$-\sum_i [y_i \log(p_i) + (1-y_i) \log(1 - p_i)],$

p_{i} = σ (X_{i}^{T} ω + c)

$p_i = \sigma(X^T_i \omega + c)$

σ (x) = 1 / (1 + e^{- x})

$\sigma(x) = 1/(1+e^{-x})$

从那里，这与原始帖子中给出的 LLH 表达式相匹配，而指数中没有因子。

- \sum_{i} [y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})] = - \sum_{i} [y_{i} \log (\frac{p_{i}}{1 - p_{i}}) + \log (1 - p_{i})] = - \sum_{i} [y_{i} (X_{i}^{T} ω + c) + \log (1 - p_{i})] = - \sum_{i} [y_{i} (X_{i}^{T} ω + c) - \log (1 + \exp (X_{i}^{T} ω + c))] .

$-\sum_i [y_i \log(p_i) + (1-y_i) \log(1 - p_i)] \\ = -\sum_i [y_i \log\left(\frac{p_i}{1-p_i}\right) + \log(1 - p_i)] \\ = -\sum_i [y_i \left( X^T_i \omega + c \right) + \log(1 - p_i)] \\ = -\sum_i [y_i \left( X^T_i \omega + c \right) - \log\left(1 + \exp({X^T_i \omega + c})\right)].$

y_{i}

$y_i$

这只是定义的问题。定义和使得和 ( )，并使用和，你得到 $y_i$ $y_i$ $\tilde y_i$ $y_i \in \{0, 1\}$ $\tilde y_i \in \{-1, 1\}$ $\tilde y_i = 2y_i -1$ $p_i = \sigma({X^T_i \omega + c})$ $1- \sigma(x) = \sigma(-x)$

- \sum_{i} [y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})] = \sum_{i} \log (1 + \exp (- {\tilde{y}}_{i} (X_{i}^{T} ω + c))) .

$-\sum_i [y_i \log(p_i) + (1-y_i) \log(1 - p_i)] = \sum_i \log\left(1 + \exp(-\tilde y_i({X^T_i \omega + c}))\right).$

其它你可能感兴趣的问题

上一篇如何计算每个字符的位数（BPC）？下一篇主成分分析可以用于股票价格/非平稳数据吗？