在提升中,每个额外的树都适合当前未建模的响应中无法解释的变化。如果我们使用平方误差损失,这相当于拟合到目前为止拟合的树聚合的残差。我不清楚此时是否应用了收缩(学习率)?例如,我们拟合第一棵树,并计算拟合值。我们现在是否通过学习率缩小(降低权重)这些拟合值,从而产生一组新的拟合值,从中我们计算用作集合中第二棵树的响应的残差,并遍历许多树?
弗里德曼的随机梯度提升机何时应用收缩?
机器算法验证
机器学习
助推
2022-03-21 21:05:36
1个回答
使用树,收缩发生在算法的更新阶段,当新函数被创建为函数先验步骤 ( ) + 新决策树输出 ( )。这个新的树输出()由学习率参数缩放。
例如,参见第 6 页 的 R GBM中的实现。
其它你可能感兴趣的问题