样本均值的平方作为方差的估计

机器算法验证 随机变量 估计者
2022-04-20 23:41:58

假设我们有以下随机变量 X1, X2,....Xn,..,它们是 iid,但我们不知道它们遵循什么分布。

我知道样本均值 X¯ 是总体均值的无偏估计量。但是,我如何证明样本均值的平方是方差的有偏(或无偏)估计量?

我特别怀疑的是如何继续这样做:

E[X¯2]=E[(i=1nXin)2]=E[i=1nXin×i=1nXin]=1n2E[i=1nXi×i=1nXi]=.....

我认为估算器有偏见,但我想确认一下...

3个回答

你有 X1,X2,,Xn 是来自一个未知分布的独立同分布,平均(比如)μ 和方差(比如)σ2

X¯ 是均值的无偏估计量,因此 E(X¯)=μ此外,Var(X¯)=σ2/n因此,因为 \begin{align*} E[\bar{X}^2] & = Var(\bar{X}) + E[\bar{X}]^2\\ & = \dfrac{\sigma^ 2}{n} + \mu^2。\结束{对齐*}

您现在可以弄清楚偏差是什么。显然,X¯2σ2 的可怕估计量。正如 wolfies 指出的那样,使用 nX¯2 会做得更好。

这是使用Mathematica的mathStatica包中的“Moment of Moment”函数的解决方案特别地,令$s_1$ 表示样本总和,即$s_1 = \sum_{i=1}^nX_i$。然后,你寻求s1 denote the sample sum, i.e. s1=i=1nXi. Then, you seek

E[(s1n)2]

这是 $(\frac{s_1}{n})^2$ 的 $1^{\text{st}}$ 原始矩,这里用中心矩表示:1st Raw Moment of (s1n)2, expressed here in terms of Central moments:

在此处输入图像描述

其中$\mu_2$ 表示总体的$2^{\text{nd}}$ 中心矩(即总体方差)。显然,这是对总体方差的有偏估计。μ2 denotes the 2nd central moment of the population (i.e. the population variance). Plainly, this is a biased estimator of population variance.

也许你想要的是 $E\big[n {\big(\frac{s_1}{n}\big)}^2\big]$:E[n(s1n)2]:

在此处输入图像描述

如果总体均值为零,这将是总体方差的无偏估计。

你的意思是真的像 "$\frac{1}{n-1} \sum_i \left(x_i - \bar{x} \right)^2$,其中 $\bar{x}$ 是样本均值,是总体方差的无偏估计量吗?” 或者,“$\frac{1}{n} \sum_i x_i^2 - \bar{x}^2$ 是总体方差的无偏估计吗?”1n1i(xix¯)2, where x¯ is the sample mean, is an unbiased estimator of the population variance?" Or perhaps, "Is 1nixi2x¯2 an unbiased estimator of the population variance?"

你字面意思的微不足道的反例:

证明样本均值的平方在一般情况下既不是一致的也不是无偏的估计量是微不足道的。

假设所有 i 的 $X_i = 2$:Xi=2 for all i:

  • 无论如何,样本均值为 2。
  • 总体方差为 0。
  • 样本均方为 4。
  • 40

我敢打赌,虽然这不是家庭作业所要求的。(假设这是家庭作业。)