机器算法验证 - XGBoost 中的“二元：逻辑”目标函数是什么？ - 吾爱随笔录

机器算法验证机器学习数据挖掘助推

2022-03-19 15:56:02

我正在阅读 Chen 的XGBoost论文。他写道，在 $\text{t}^{\text{th}}$ 迭代，下面的目标函数被最小化。

L^{(t)} = \sum_{i}^{n} l (y_{i}, {\hat{y}}_{i}^{(t - 1)} + f_{t} (x_{i})) + Ω (f_{t})

$L^{(t)} = \sum_{i}^n l(y_i, \hat{y}_i^{(t-1)} + f_t(x_i)) + \Omega (f_t)$

这里， $l$ 是一个可微的凸损失函数， $f_t$ 代表 $\text{t}^{\text{th}}$ 树和 $\hat{y}_i^{(t-1)}$ 表示预测的 $\text{i}^{\text{th}}$ 迭代中的实例 $t-1$ .

我想知道什么 $l$ 何时使用 XGBoost 进行二元分类？

2个回答

似乎有一个选项目标：“binary:logistic”

“binary:logistic”——二元分类的逻辑回归，输出概率

“binary:logitraw”——二元分类的逻辑回归，逻辑转换前的输出分数

（所以日志丢失）

我只是在问题描述下总结评论：

$l$ 是伯努利分布的对数似然，其中 $\text{logistic}(\hat{y}_i^{(t-1)} + f_t(x_i))$ 是概率。所以公式应该是

l = y_{i} \log (logistic ({\hat{y}}_{i}^{(t - 1)} + f_{t} (x_{i}))) + (1 - y_{i}) \log (1 - logistic ({\hat{y}}_{i}^{(t - 1)} + f_{t} (x_{i})))

$l = y_i \log(\text{logistic}(\hat{y}_i^{(t-1)} + f_t(x_i))) + (1-y_i)\log(1-\text{logistic}(\hat{y}_i^{(t-1)} + f_t(x_i)))$

或代数等价，

l = y_{i} ({\hat{y}}_{i}^{t - 1} + f_{t} (x_{i})) - \log (1 + \exp ({\hat{y}}_{i}^{t - 1} + f_{t} (x_{i})))

$l = y_i (\hat y_i^{t-1} + f_t(x_i)) - \log(1 + \exp (\hat y_i^{t-1} + f_t(x_i)))$ 使用该属性

σ (- z) = 1 - σ (z)

$\sigma(-z)=1 - \sigma(z)$ .

其它你可能感兴趣的问题