Boosting 和 Bagging 可以应用于异构算法吗?

数据挖掘 数据科学模型 助推 装袋 堆叠
2021-09-15 18:09:38

Stacking可以通过RF、SVM和KNN等异构算法来实现。但是,这种异构可以在 Bagging 或 Boosting 中实现吗?例如,在 Boosting 中,不是在所有迭代中都使用 RF,我们可以使用不同的算法吗?

1个回答

简短的回答是肯定的。boosting 和 bagging 元算法都不假设特定的弱学习器,因此任何学习器都可以做到,无论使用相同的算法还是不同的算法。

元算法的定义方式,他们使用弱学习器作为黑盒模型,没有参考它们的实现或算法原理,也没有相似性

对于提升:

在机器学习中,boosting 是一种集成元算法,主要用于减少监督学习中的偏差和方差[1],以及将弱学习器转换为强学习器的一系列机器学习算法。 [2] Boosting 基于 Kearns 和 Valiant (1988, 1989) 提出的问题:[3][4] “一组弱学习器可以创建一个强学习器吗?” 弱学习器被定义为与真实分类仅略微相关的分类器(它可以比随机猜测更好地标记示例)。相比之下,强学习器是与真实分类任意良好相关的分类器。

装袋:

虽然它通常应用于决策树方法,但它可以与任何类型的方法一起使用。Bagging 是模型平均方法的一个特例。

对于 Bagging,提高性能所需的条件是弱学习器应该是不稳定的(因此学习器的扰动版本会影响结果),但除此之外,学习器是黑盒子,如上所述。

供进一步参考:

  1. 提升,维基百科
  2. 装袋,维基百科
  3. 弱可学习性的力量
  4. Bagging 预测器