阅读深度学习时,我遇到了以下公式。
其中和方差的同分布随机变量。
- 如何得出这个?
- 根据这个公式,bootstrap 聚合如何减轻过拟合的影响?什么是关系?
阅读深度学习时,我遇到了以下公式。
其中和方差的同分布随机变量。
根据定义,我们有
这是,其中。将其代入原始方程得到以下结果:
每个可以被认为是一个单一的决策机制,称为 DM,(例如回归器)。你的决定的方差是。通过使用引导样本并聚合您的 DM 的输出,您最终会得到如上所述的决策方差,当和时,它严格小于。DM 当然会有一定程度的相关性,因为它们是在从同一基础数据集中获得的引导样本上训练的;但是,它们之间的相关性很可能不等于。过度拟合的机制通常具有很大的方差,因此通过降低 DM 的方差,您实际上可以隐式地解决过度拟合的问题。