相关随机变量的平均值的方差nn

机器算法验证 机器学习 深度学习 引导程序 正则化 装袋
2022-03-10 13:57:59

阅读深度学习时,我遇到了以下公式。

var(1ni=1nXi)=ρσ2+1ρnσ2

其中和方差的同分布随机变量X1,,Xnρ>0var(Xi)=σ2

  1. 如何得出这个?
  2. 根据这个公式,bootstrap 聚合如何减轻过拟合的影响?什么是关系?
1个回答

根据定义,我们有

var(i=1nXi)=cov(i=1nXi,i=1nXi)=i=1nvar(Xi)+ijcov(Xi,Xj)

这是,其中将其代入原始方程得到以下结果:nvar(Xi)+n(n1)cov(Xi,Xj)=nσ2+n(n1)ρσ2ij

var(1ni=1nXi)=1n2(nσ2+n(n1)ρσ2)=ρσ2+1ρnσ2

每个可以被认为是一个单一的决策机制,称为 DM,(例如回归器)。你的决定的方差是通过使用引导样本并聚合您的 DM 的输出,您最终会得到如上所述的决策方差,当时,它严格小于DM 当然会有一定程度的相关性,因为它们是在从同一基础数据集中获得的引导样本上训练的;但是,它们之间的相关性很可能不等于过度拟合的机制通常具有很大的方差,因此通过降低 DM 的方差,您实际上可以隐式地解决过度拟合的问题。Xiσ2σ2ρ1n11