Stacking可以通过RF、SVM和KNN等异构算法来实现。但是,这种异构可以在 Bagging 或 Boosting 中实现吗?例如,在 Boosting 中,不是在所有迭代中都使用 RF,我们可以使用不同的算法吗?
Boosting 和 Bagging 可以应用于异构算法吗?
数据挖掘
数据科学模型
助推
装袋
堆叠
2021-09-15 18:09:38
1个回答
简短的回答是肯定的。boosting 和 bagging 元算法都不假设特定的弱学习器,因此任何学习器都可以做到,无论使用相同的算法还是不同的算法。
元算法的定义方式,他们使用弱学习器作为黑盒模型,没有参考它们的实现或算法原理,也没有相似性。
对于提升:
在机器学习中,boosting 是一种集成元算法,主要用于减少监督学习中的偏差和方差[1],以及将弱学习器转换为强学习器的一系列机器学习算法。 [2] Boosting 基于 Kearns 和 Valiant (1988, 1989) 提出的问题:[3][4] “一组弱学习器可以创建一个强学习器吗?” 弱学习器被定义为与真实分类仅略微相关的分类器(它可以比随机猜测更好地标记示例)。相比之下,强学习器是与真实分类任意良好相关的分类器。
装袋:
虽然它通常应用于决策树方法,但它可以与任何类型的方法一起使用。Bagging 是模型平均方法的一个特例。
对于 Bagging,提高性能所需的条件是弱学习器应该是不稳定的(因此学习器的扰动版本会影响结果),但除此之外,学习器是黑盒子,如上所述。
供进一步参考:
其它你可能感兴趣的问题