如何向外行解释什么是无偏估计量?

机器算法验证 偏见 渐近的 无偏估计器 估计者 沟通
2022-03-25 22:02:24

假设是 \theta 的无偏估计然后当然,θ^θE[θ^θ]=θ

如何向外行解释这一点?过去,我所说的是,如果你平均一堆的值,随着样本量的变大,你会得到一个更好的近似值。θ^θ

对我来说,这是有问题的。我认为我在这里实际描述的是这种渐近无偏见的现象,而不是仅仅没有偏见,即 其中\hat{\theta}可能依赖于n

limnE[θ^θ]=θ,
θ^n

那么,如何向外行解释什么是无偏估计量呢?

4个回答

从技术上讲,当您说随着样本量的增加您的估计量越来越接近真实值时,您所描述的是(正如其他人所提到的)一致性或统计估计量的收敛。这种收敛可以是概率收敛,即对于每个,或者几乎确定收敛,即注意限制实际上是如何在里面的limnP(|θ^nθ|>ϵ)=0ϵ>0P(limn|θ^nθ|>ϵ)=0第二种情况的概率。事实证明,后一种收敛形式比另一种更强,但它们的含义基本相同,即随着我们收集更多样本,估计值往往越来越接近我们正在估计的值。

这里有一个微妙的点是,即使在概率上或几乎可以肯定时,通常\,因此一致性并不意味着您建议的渐近无偏性。在随机变量序列(它们是函数)到期望序列(它们是积分)之间移动时,您必须小心。θ^nθlimnE(θ^n)=θ

撇开所有技术问题不谈,公正仅意味着因此,当您向某人解释时,只需说如果在相同条件下多次重复该实验,则估计的平均值将接近真实值。E(θ^n)=θ

我不确定你是否混淆了一致性和公正性。

一致性:样本量越大,估计量的方差越小。

  • 取决于样本量

无偏性:估计量的期望值等于参数的真实值

  • 不取决于样本量

所以你的句子

如果你平均一堆的值,随着样本量变大,你会得到一个更好的近似值。θ^θ

是不正确的。即使样本量无限大,无偏估计量仍将保持无偏估计量,例如,如果您将平均值估计为“均值 +1”,您可以向样本添加十亿个观测值,但您的估计量仍然不会给您真实值。

在这里,您可以找到关于一致性和公正性之间差异的更深入的讨论。

一致的估计量和无偏的估计量有什么区别?

@Ferdi已经为您的问题提供了明确的答案,但让我们让它更正式一点。

的独立且同分布的随机变量的样本您有兴趣估计未知但固定的数量,使用估计器作为的函数。由于是随机变量的函数,因此估计X1,,XnFθ gX1,,Xng

θ^n=g(X1,,Xn)

也是一个随机变量。我们将偏差定义为

bias(θ^n)=Eθ(θ^n)θ

时,估计器是无偏的。Eθ(θ^n)=θ

用简单的英语说:我们正在处理随机变量,所以除非它是退化的,否则如果我们采取不同的样本,我们可以期望观察到不同的数据和不同的估计。尽管如此,如果估计量是无偏的,我们可以预期跨不同样本“平均”估计的将是“正确的”。所以它并不总是正确的,但“平均而言”它是正确的。由于与数据相关的随机性,它根本不可能总是“正确”的。θ^n

正如其他人已经指出的那样,随着样本的增长,您的估计会“更接近”估计数量这一事实,即在概率上收敛

θ^nPθ

与估计器的一致性有关,而不是无偏性。单凭无偏性并不能告诉我们任何关于样本量及其与所获得估计值的关系的信息。此外,无偏估计器并不总是可用,也不总是比有偏估计器更可取。例如,在考虑了偏差-方差权衡之后,您可能愿意考虑使用具有更大偏差但方差更小的估计器——因此“平均而言”它会离真实值更远,但更常见的是(更小的方差)估计会更接近真实值,然后在无偏估计的情况下。

首先,您必须区分误解偏差和统计偏差,尤其是对于外行。

选择使用中位数、均值或众数作为人口平均值的估计值,通常包含政治、宗教或科学理论信仰偏差。关于哪个估计量是平均的最佳形式的计算与影响统计偏差的算术类型不同。

一旦克服了方法选择偏差,就可以解决估计方法中的潜在偏差。首先,您必须选择一种可能产生偏见的方法,以及一种容易导致这种偏见的机制。

使用分而治之的观点会更容易,因为随着样本量变小,估计变得明显有偏差。例如,当 n 从 3 下降到 2 到 1 时,样本扩展估计器中的 n-1 因子(与“n”因子相比)变得很明显!

这完全取决于这个人有多“躺”。