弗里德曼的随机梯度提升机何时应用收缩?

机器算法验证 机器学习 助推
2022-03-21 21:05:36

在提升中,每个额外的树都适合当前未建模的响应中无法解释的变化。如果我们使用平方误差损失,这相当于拟合到目前为止拟合的树聚合的残差。我不清楚此时是否应用了收缩(学习率)?例如,我们拟合第一棵树,并计算拟合值。我们现在是否通过学习率缩小(降低权重)这些拟合值,从而产生一组新的拟合值,从中我们计算用作集合中第二棵树的响应的残差,并遍历许多树?

1个回答

使用树,收缩发生在算法的更新阶段,当新函数被创建为函数先验步骤 ( ) + 新决策树输出 ( )。这个新的树输出()由学习率参数缩放。f(x)kf(x)k1p(x)kp(x)k

例如,参见第 6 页 的 R GBM中的实现。