机器算法验证 - 将功能扩展到 xgboost 有什么影响？ - 吾爱随笔录

将功能扩展到 xgboost 有什么影响？

机器算法验证机器学习正则化岭回归助推

2022-02-08 16:29:17

在研究 xgboost 算法时，我浏览了文档。

听说xgboost不太关心输入特征的规模

在这种方法中，使用复杂度定义对树进行正则化，其中和是参数，是终端叶子和是每个叶子的分数。

Ω (f) = γ T + \frac{1}{2} λ \sum_{j = 1}^{T} w_{j}^{2}

$\Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2$

γ

$\gamma$

λ

$\lambda$

T

$T$

w_{j}

$w_j$

那么，在输入 xgboost 之前扩展功能不是很重要吗？成本函数正则化部分中的项直接受特征规模的影响 $\sum_{j=1}^T w_j^2$

1个回答

XGBoost 对其特征的单调变换不敏感，原因与决策树和随机森林不敏感的原因相同：模型只需要在特征上选择“切点”来分割节点。拆分对单调变换不敏感：在一个尺度上定义拆分在变换后的尺度上具有相应的拆分。

您的困惑源于误解。在“模型复杂性”一节中，作者写道 $w$

这里是叶子上的分数向量...... $w$

分数衡量叶子的重量。请参阅“树合奏”部分中的图表；作者将叶子下方的数字标记为“分数”。

表达式之前的段落中也更精确地定义了分数： $\Omega(f)$

我们需要定义树的复杂度。为此，我们首先将树的定义细化为这里是叶子上的分数向量，是将每个数据点分配给相应叶子的函数，是叶子的数量。 $\Omega(f)$ $f(x)$
$f_{t} (x) = w_{q (x)}, w \in R^{T}, q : R^{d} \to 1, 2, \dots, T .$ $f_t(x)=w_{q(x)}, w \in R^T, q:R^d \to {1,2,\dots,T}.$ $w$ $q$ $T$

这个表达式的意思是是的分区函数，而是与每个分区相关的权重。分区可以通过坐标对齐的拆分来完成，而坐标对齐的拆分是决策树。 $q$ $R^d$ $w$ $R^d$

的含义是它是一个选择的“权重”，使得有新树的集合的损失低于没有新树的集合的损失。这在文档的“结构分数”部分中进行了描述。的分数由下式给出 $w$ $j$

w_{j}^{*} = \frac{G_{j}}{H_{j} + λ}

$w_j^* = \frac{G_j}{H_j + \lambda}$

其中和是损失函数的偏导数的函数之和，个叶子中样本的（详见“附加训练”。） $G_j$ $H_j$ $t-1$ $j$

其它你可能感兴趣的问题

上一篇马尔可夫决策过程的真实示例下一篇为什么要根据其他优化问题来定义优化算法？