集成学习中的基础模型

数据挖掘 机器学习 集成建模 装袋
2022-03-12 04:34:51

我一直在对集成学习进行一些研究,并阅读了基本模型,通常建议使用高方差模型(不记得我是从哪本书中读到的)。

但是,这似乎违反直觉,因为具有低方差的基础模型(在测试集上表现良好)不会比拥有多个坏的基础模型更好吗?

1个回答

直观地说,合奏从多样性中受益最多。

想象一下,在一个人们一起做决定的房间里。如果每个人或多或少都同意,你不会从有更多的人参与进来。但是,如果人们倾向于有不同的意见,当他们同意时,这是一个更强烈的信息,即决定必须是正确的。

这同样适用于合奏。具有高方差的模型更有可能产生不同的预测,这将提高预测的质量。基于模型正确多于错误的假设,高方差还可以最大限度地降低多个模型同时错误的风险。