直观地理解一致和渐近无偏之间的区别

机器算法验证 偏见 收敛 无偏估计器 渐近的 直觉
2022-01-20 19:02:42

我试图对术语一致和渐近无偏之间的差异和实际差异有一个直观的理解和感受。我知道他们的数学/统计定义,但我正在寻找一些直观的东西。对我来说,看看他们各自的定义,他们似乎几乎是一回事。我意识到差异一定是微妙的,但我只是没有看到。我试图想象这些差异,但就是做不到。任何人都可以帮忙吗?

4个回答

它们是相关的想法,但渐近无偏估计量不必是一致的。

例如,假设来自某个分布 (和方差作为的估计量,请考虑nX1,X2,...,Xnμσ2μT=X1+1/n

(编辑:注意X1那里,不是X¯)

偏差是1/n所以T是渐近无偏的,但不一致。

渐近无偏一致性+有界方差暗示

考虑一个参数变为零,这意味着估计量的期望值收敛到参数的真实值。一致性是比这更强的条件;它要求估计器(不仅仅是它的期望值)收敛到参数的真实值(收敛以各种方式解释)。由于估计量中通常存在一些非零方差,因此它通常不会等于(或收敛于)其预期值。假设估计量的方差是有界的,一致性保证了渐近无偏性(证明θ^nθn),但渐近无偏性不足以获得一致性。换句话说,在一些温和的条件下,渐近无偏性是一致性的必要条件,但不是充分条件。

渐近无偏性+消失方差一致性

如果你有一个渐近无偏估计量,并且它的方差收敛到零,这足以给出弱一致性。(这是从马尔可夫不等式得出的,它确保均方收敛意味着概率收敛)。直观地说,这反映了一个事实,即方差消失意味着随机变量的序列越来越接近期望值,如果期望值收敛到真实参数(就像它在渐近无偏性下所做的那样),那么随机变量是收敛到真实参数。

                    在此处输入图像描述

我想澄清一下,一般的一致性并不意味着渐近无偏。考虑一个估计器0取值0有概率(n1)/n和价值n有概率1/n. 这是一个有偏估计量,因为期望值总是等于1并且偏差不会消失,即使n. 然而,它是一个一致的估计量,因为它收敛于0概率为n.

正如其他答案中提到的那样,渐近无偏性并不意味着一致性。例如,周期图是谱密度的渐近无偏估计,但它并不一致。

粗略地说,一致性意味着对于较大的值n我们将以高概率接近参数的真实值,即估计值将接近参数的真实值。渐近无偏性意味着对于较大的值n平均而言,我们将接近参数的真实值,即估计的平均值将接近参数的真实值,但不一定是估计值本身。

有“无偏但不一致”的估计量和“有偏但一致的”估计量:

https://en.wikipedia.org/wiki/Consistent_estimator#Unbiased_but_not_consistent

所以,它们不是一回事。

此外,这里有一个关于这个主题的长时间讨论:

一致的估计量和无偏的估计量有什么区别?