研究生院过分强调最小方差无偏估计理论吗?

机器算法验证 估计 点估计
2022-01-18 18:31:41

最近,当我给出一个关于均匀分布参数的最小方差无偏估计的即兴回答时,我感到非常尴尬,这是完全错误的。幸运的是,我立即得到了红衣主教和亨利的纠正,亨利为 OP 提供了正确的答案

不过,这让我开始思考。大约 37 年前,我在斯坦福大学的研究生数学统计课上学习了最佳无偏估计理论。我记得 Rao-Blackwell 定理、Cramer-Rao 下界和 Lehmann-Scheffe 定理。但作为一名应用统计学家,我在日常生活中并没有过多考虑 UMVUE,而最大似然估计却出现了很多。

这是为什么?我们在研究生院是否过分强调UMVUE理论?我认同。首先,不偏不倚不是关键属性。许多非常好的 MLE 都是有偏见的。Stein 收缩估计量是有偏的,但在均方误差损失方面优于无偏 MLE。这是一个非常漂亮的理论(UMVUE 估计),但非常不完整,我认为不是很有用。别人怎么看?

2个回答

我们知道

如果X1,X2,Xn是一个随机样本Poisson(λ)那么对于任何α(0,1), Tα=αX¯+(1α)S2是一个 UEλ

因此存在无限多的 UEλ. 现在出现一个问题,我们应该选择哪一个?所以我们称之为UMVUE。沿着无偏性不是一个好的属性,但 UMVUE 是一个好的属性。但这并不是特别好。

如果X1,X2,Xn是一个随机样本N(μ,σ2)然后是形式的最小 MSE 估计量Tα=αS2, 和(n1)S2=i=1n(XiX¯)2对于参数σ2, 是n1n+1S2=1n+1i=1n(XiX¯)2 但是有偏见的是它不是UMVUE,尽管它在最小MSE方面是最好的。

请注意,Rao-Blackwell 定理说要找到 UMVUE,我们可以只关注那些具有足够统计量的函数的 UE, UMVUE 是在所有具有足够统计量的函数的 UE 中具有最小方差的估计量。因此,UMVUE 必然是充分统计量的函数。

从某个角度来看,MLE 和 UMVUE 都很好。但我们永远不能说其中一个比另一个更好。在统计学中,我们处理不确定和随机的数据。所以总是有改进的余地。我们可能会得到比 MLE 和 UMVUE 更好的估计器。

我认为我们在研究生院并没有过分强调UMVUE理论。这纯粹是我个人的看法。我认为毕业阶段是一个学习阶段。所以,一个毕业的学生必须要对UMVUE和其他估计器有很好的基础,

也许 Brad Efron 的论文“最大似然和决策理论”可以帮助澄清这一点。Brad 提到 UMVUE 的一个主要困难是它通常难以计算,并且在许多情况下不存在。