在 AdaBoost 中结合弱学习器进行回归的方法是任意的吗?

数据挖掘 助推 adaboost
2021-09-15 05:43:41

我正在阅读有关提升变体如何将弱学习者组合成最终谓词的信息。我正在考虑的情况是回归。

在论文使用 Boosting Techniques 改进回归器中,最终的预测是加权中位数。

对于特定输入 xi, 每一个 T 机器做出预测 ht,t=1,,T. 获取累积预测 hf 使用 T 预测器:

hf=inf{yY:t:htylog(1/βt)12tlog(1/βt)}
这是加权中位数。等效地,每台机器ht 有预测 yi(t)i'th 模式和一个 relabeled 这样的模式 i 我们有:
yi(1)<yi(2)<,,<yi(T)
(保留协会的 βt 与其 yi(t))。然后将log(1/βt) 直到我们达到最小的 t从而满足不等式。那台机器的预测T我们将其作为整体预测。如果βt都是平等的,这将是中位数

统计学习简介:在 R 中的应用:最终预测是加权平均值。

在此处输入图像描述

因此,我想问一下聚合的方式是基于数学的,还是因为研究人员认为它是合理的。

太感谢了!

1个回答

ISL 描述的是梯度提升(回归,以 mse 作为损失函数),而不是 AdaBoost。那里,λ是恒定的,而不是每棵树的权重。由于每棵树都适合残差,因此我们需要将结果相加以更好地逼近真实值,而不是平均值。

但是,标题问题仍然是一个有趣的问题。它看起来很可能是任意的,但至少已经完成了一些测试,例如,参见 Shrestha 和 Solomatine 的“Experiments with AdaBoost.RT, an Improvement Boosting Scheme for Regression”。