MSE 分解为方差和偏差平方

机器算法验证 随机变量 期望值 毫秒
2022-01-19 20:51:55

在显示 MSE 可以分解为方差加上 Bias 的平方时,Wikipedia 中的证明有一个步骤,在图片中突出显示。这是如何运作的?从第 3 步到第 4 步,期望是如何推入产品的?如果这两个术语是独立的,那么期望不应该应用于这两个术语吗?如果不是,这一步是否有效?在此处输入图像描述

3个回答

诀窍是E(θ^)θ是一个常数。

关于重点从第三行到第四行的步骤模棱两可的问题存在一些混淆。

有两个术语看起来很像。

E[θ^]θvsE[θ^]θ^

关于从第 3 行到第 4 行的步骤的问题与第一项有关:

  • E[θ^]θ这是估计器的偏差θ^

    每次采样时,偏差都是相同的(常数)值,因此您可以将其从期望运算符中取出(这就是从第 3 行到第 4 行的步骤,取出常数,完成)。

    请注意,您不应将此解释为贝叶斯分析,其中θ是可变的。它是一种频率分析,它以参数为条件θ. 所以我们更具体地计算E[(θ^θ)2|θ],平方误差期望值θ, 代替E[(θ^θ)2]. 这种条件作用通常隐含在常客分析中。

关于高亮表达式的问题是关于第二项的

  • E[θ^]θ^这是估计量与平均值的偏差θ^.

    它的期望值也称为第一个中心矩,它始终为零(这就是突出显示的步骤,将期望值设为零的方式)。

E(θ^)θ不是一个常数。

@user1158559 的评论其实是正确的:

E[θ^E(θ^)]=E(θ^)E[E(θ^)]=E(θ^)E(θ^)=0