机器算法验证 - 无偏最大似然估计器总是最好的无偏估计器吗？ - 吾爱随笔录

机器算法验证数理统计最大似然无偏估计器

2022-01-23 05:39:52

我知道对于常规问题，如果我们有一个最好的常规无偏估计器，它必须是最大似然估计器（MLE）。但一般来说，如果我们有一个无偏的 MLE，它是否也是最好的无偏估计器（或者我应该称之为 UMVUE，只要它具有最小的方差）？

4个回答

但一般来说，如果我们有一个无偏的 MLE，它是否也是最好的无偏估计量？

如果有完整充分的统计，是的。

证明：

因此，只要存在完整、充分的统计数据，无偏 MLE 必然是最好的。

但实际上这个结果几乎没有应用案例，因为完全充分的统计数据几乎不存在。这是因为完全充分的统计数据（基本上）仅存在于 MLE 最常有偏差的指数族（高斯的位置参数除外）。

所以真正的答案实际上是否定的。

可以给出一个一般的反例：任何具有可能性的位置族 $p_\theta(x)=p(x-\theta$ ）和 $p$ 对称于 0 ( $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ ）。有样本量 $n$ ，以下成立：

大多数情况下，统治是严格的，因此 MLE 甚至不被接受。证明了当 $p$ 是柯西，但我想这是一个普遍的事实。因此 MLE 不能是 UMVU。实际上，对于这些家庭来说，众所周知，在条件温和的情况下，永远不会有 UMVUE。在这个问题中研究了这个例子，并附有参考资料和一些证明。

在我看来，这个问题并不是真正连贯的，因为可能性的最大化和无偏性不能相处，如果仅仅是因为最大似然估计量是等变的，即估计量的变换是参数变换的估计量，而无偏性不支持非线性变换。因此，如果在所有可能的参数化范围内考虑“几乎”，最大似然估计量几乎永远不会是无偏的。

但是，这个问题有一个更直接的答案：在考虑 Normal 方差的估计时， $\sigma^2$ ，UMVUE 的 $\sigma^2$ 是

{\hat{σ}}_{n}^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$ 而 MLE 的

σ^{2}

$\sigma^2$ 是

{\overset{ˇ}{σ}}_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$ 因此，它们不同。这意味着

如果我们有一个最佳的正则无偏估计器，它必须是最大似然估计器（MLE）。

一般不成立。

进一步注意，即使存在参数的无偏估计 $\theta$ ，不一定有最佳无偏最小方差估计器（UNMVUE）。

MLE的渐近方差是UMVUE，即达到cramer rao下界，但有限方差可能不是UMVUE，以确保估计器是UMVUE，它应该是充分和完整的统计数据或该统计数据的任何函数。

简而言之，一个估计量就是UMVUE，如果它是无偏的并且是一个完整和充分统计量的函数。（见 Rao-Blackwell 和 Scheffe）

其它你可能感兴趣的问题