xgboost中“叶重”的直观含义是什么

数据挖掘 决策树 xgboost
2022-02-20 15:19:22

我查看了 Tianqi Chen 的演示文稿,但我很难理解叶子重量的细节,如果有人能帮助澄清我的理解,我将不胜感激。

要将方程式转化为幻灯片“放入上下文:模型和参数”中的文字,预测值/分数(表示为 yhat)等于模型的 K 树的总和,每个树将属性映射到分数。到目前为止一切顺利,我想。

在此处输入图像描述

然后在下面显示的这张幻灯片中,它给出了一个决策树的模拟示例,该示例计算了某人喜欢电脑游戏 X 的数量。(旁白:这不是一个奇怪的例子吗?谁喜欢电脑游戏 X 的数量为 2?什么?这甚至意味着什么?为什么不选择一个具有更具体、相关意义的例子呢?)

在此处输入图像描述

现在这是我开始迷路的地方。我可以将模拟示例的模拟数据制成表格,假设模型是完美的,因此权重(w1、w2、w3)等于真实值。但即使这样看起来也很奇怪:预测值/分数和权重之间有什么区别?

       x_i: "attributes"          y_i, the true score (not yhat_i, which is the predicted score)
                |                                 |
|¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯|¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯|
| Age <15 (x_0) | is male (x_1) | Amount likes the computer game X  |
| 1             | 1             | 2                                 | (Young boy)
| 1             | 0             | 0.1                               | (Young girl)
| 0             | 1             | -1                                | (Old man)
| 0             | 0             | -1                                | (Old woman)
| 0             | 0             | -1                                | (Young woman, older than 15)

我的问题是:有人可以分享实际功能 f 吗?我假设它是一个向量/矩阵,但实际数字是多少?那么我的后续跟进是你将如何计算这个模拟示例的 f?我觉得这是一个如此简单的问题,但我无法弄清楚答案。如果有人可以为我详细介绍这一点,那将是一个巨大的帮助。谢谢!

1个回答

我会阅读这篇论文(特别是第 2.2 节)以获得更简洁的表述和术语的正式定义。

您需要定义损失函数L对于你的问题。然后gihi分别是的一阶和二阶导数L. 然后是最佳权重(等式(5)或幻灯片 27)。

wj=iIjgiiIjhi+λ
在哪里λ是正则化参数。

因此,这些权重为您提供了(二阶近似)的最小值L.

编辑:

由于示例中给出了权重,因此完成了艰苦的工作(参见论文中的图 1)。按照定义,f=wq(x)q(x)将实例映射到叶节点。把它放在一起给出:

f={2age<15 and male0.1age<15 and not male1age15