为什么 Rao-Blackwell 定理需要?E (θ^2) < ∞E(θ^2)<∞

机器算法验证 饶布莱克威尔
2022-03-24 11:55:05

Rao-Blackwell 定理指出

是 \theta 的估计量,\对于所有假设是充分的,令那么对于所有不等式是严格的,除非θ^θE(θ^2)<θTθθ=E(θ^|T)θ

E(θθ)2E(θ^θ)2
θ^T

如果我正确理解了这个定理,这表明,如果我 ,那么给定的条件期望值的解决方案 (\hat{\theta}-\theta)^2Tθθ^Tminθ^E(θ^θ)2

我的问题

  1. 我是否正确θ最小化E(θ^θ)2
  2. 为什么 Rao-Blackwell 定理需要E(θ^2)<
  3. 为什么不等式是严格的,除非θ^T的函数?
2个回答
  1. 不,是比更好的估计器,但不一定是最好的(不管这意味着什么!)θθ^
  2. 如果估计量没有方差,那么它的风险是无限的,并且不能保证具有有限的风险(尽管这可能会发生,正如Horst Grünbusch在他的评论中指出的那样)。θ
  3. 的有限方差下,不等式是严格的,因为方差分解为期望条件方差加上条件期望方差的总和 除非预期的条件方差为零,这相当于的函数θ^
    var(θ^)=ET[var(θ^|T)]+varT(E[θ^|T])=ET[var(θ|T)]+varT(θ)
    θ^T
  1. 请注意,足够的统计数据并不是唯一的。琐碎地,整个数据就足够了,但是以它们为条件的估计器不会改变任何东西。因此,仅仅一个足够的统计数据是不够的(双关语!)具有最小的均方误差。请参阅 Lehmann-Scheffé-theorem,它在证明中使用 Rao-Blackwell 定理,以获得充分的充分性(实际上是充分和完备的)。

  2. 如果两者都是无限的,则弱不等式总是正确的。但是,作为一个反例,你可以构造一个足够的统计量,它不是的函数,但仍然具有无限方差(这样只有成立)。T

为例,这是一个移位的分布随机变量,其中,作为另一个独立随机变量估计的参数是原始估计是一个足够的统计数据当然是Rao-Blackwell 估计量都具有无限方差。因此,不平等将保持微弱。另一方面,不仅仅是C1t2+μt2E(C1)=μVar(C1)=C2t2μθ^=C1+C2C1E(θ^|C1)=C1θ^C1+C2C1:它涉及另一个随机变量,因此这与您问第三个问题的最后一句话相矛盾。事实上,一些教科书承认原始估计量的方差无限大,但反过来又不能说明何时成立。<

  1. 如果的函数,您可以通过分解定理证明对于已经足够了。所以我们最终还是没有改进。除了这种情况,不等式是严格的,这就是定理的重要断言。θ^Tθ^θ