bagging 如何帮助减少方差

数据挖掘 决策树 集成建模 装袋
2022-02-28 16:04:28

我了解到装袋有助于通过平均来减少方差,但我无法理解这一点。有人可以直观地解释一下吗?

1个回答

高方差 - 模型因微小变化而有很大 差异
高偏差- 模型变化不大,但预测与事实相去甚远

让我们检查 5 个值的决策树 -

15101520
在此树拆分中,
9.9 的值将是 7.5,10.1
的值将是 12.5。
表现出非常高的方差。

让我们创建 4 个包含 3 个元素的随机树 -

ree-151015ree-211520ree-310520ree-451520
9.9 的值 = (7.5 + 7.5 + 12.5 + 10)/4 ~ 9.375
10.1 的值 = (12.5 + 7.5 + 12.5 + 10)/4 ~ 10.625
方差减少了很多

在 bagging 中,我们构建了数百棵树(也可以构建其他提供高方差的模型),从而大大减少了方差