XGBoost 方程(用于假人)

数据挖掘 xgboost
2022-02-16 09:14:12

我很难理解增强树简介中给出的 MSE 损失函数(注意!我的数学技能相当于一个非常稀疏的矩阵):

obj(t)=i=1n(yi(y^i(t1)+ft(xi)))2+i=1tΩ(fi)=i=1n[2(y^i(t1)yi)ft(xi)+ft(xi)2]+Ω(ft)+constant

第二个等号意味着可以很容易地从第一个等式推导出第二个等式,但我不知道如何。我第一次天真的尝试是:

  • 表示yi作为a
  • 表示(y^i(t1)+ft(xi))作为b
  • 然后展开(ab)2

但我没有成功。非常感谢任何帮助。

1个回答

我记得我在推导第二个方程式时苦苦挣扎了一段时间。该常数保留了许多缺失的元素。让我们用你的分解它(ab)2符号。我们将有a2,b2, 和2ab

  • a2yi是恒定的,因为它是您真正的标签/值,因此a2IEyi2 去常数。
  • b2y^it1+ft2+2y^it1ft

y^it1是恒定的,因为它是前一步的预测(t1)我们已经知道,因此进入常数项。其他两个术语保持不变。

  • 2ab2yi(y^it1+ft)=2yiy^it12yift. 这里第一项也是常数。只剩下第二个任期。

其余的应该很简单,只需添加剩下的东西并清理它,你就会看到第二个方程很漂亮。