偏差-方差分解推导

机器算法验证 数理统计 方差 偏见 偏差-方差-权衡
2022-03-17 06:55:53

我的统计学教授分配了这个问题:“显示平方误差损失的预期预测误差 (EPE)Y=f(X)+ε带估算器f^(x)假设X=x是固定的并且ε (0,σ2)可以写成偏差和方差的组合。换句话说,证明

EPE(x)=E[(Yf^(x))2]=σ2+Bias2+Var(f^(x)).

我想出了 3 种方法来得出这种关系,但所有这些方法都取决于以下假设:Y=f(X)+εf^(X)是独立的,或者至少它们的协方差为零。例如,这允许我使用Var[Yf^(X)]=Var(Y)+Var(f^(X)). 这个假设对我来说很直观,因为两者之间没有必要的联系Y和估计值f^(X)(毕竟,估计器可能是一个随机数生成器)。但我正在努力以严格的方式证明独立性假设的合理性。有人可以推动我理解吗?

1个回答

这里有一个提示:考虑Yf^=(Yf)+(ff^),并记住E(Yf)=0然后f不是随机的。此外,正如@GeoMatt22 指出的那样,您需要Cov(ε0,f^)=0,我们通过 iid 错误得到。

(基本上我认为你可能让这比它需要的更复杂,它真的只是归结为我的暗示)

关于是否f^Y, 通常我们的预测不仅仅是函数X但也Y所以他们不能独立。例如,在线性回归中,我们的拟合值Y^=X(XTX)1XTY所以当然不是这样的Y^Y一般来说。

更新

我认为问题在于我们都对什么有点粗心ε' 是。我们观察数据(y,X)在我们的数据中yi=f(xi)+εi, 以便f^是一个函数y,X, 和εi为了i=1,,n. 我们现在观察到一个新点(y0,x0)我们假设y0=f(x0)+ε0. 这是关键:这个新点有它自己的错误ε0这与进入的所有内容无关f^通过通常的独立同分布错误假设。因此对于i=1,,n绝对不是这样的εif^; 但是新点的错误确实是不相关的。