一致的估计量和无偏的估计量有什么区别?

机器算法验证 无偏估计器 估计者 一致性
2022-02-10 12:11:28

一致的估计量和无偏的估计量有什么区别?

这些术语的精确技术定义相当复杂,很难直观地理解它们的含义。我可以想象一个好的估算器和一个坏的估算器,但我无法看到任何估算器如何满足一个条件而不是另一个条件。

3个回答

在不使用太多技术语言的情况下定义这两个术语:

  • 如果随着样本量的增加,估计(由估计器产生)“收敛”到被估计参数的真实值,则估计器是一致的。更准确地说,一致性意味着,随着样本量的增加,估计量的抽样分布越来越集中在真实参数值上。

  • 如果平均而言,估计量达到真实参数值,则估计量是无偏的。也就是说,估计器的采样分布的均值等于真实的参数值。

  • 两者不等价:无偏性是关于估计量的抽样分布的期望值的陈述。一致性是关于随着样本量的增加而“估计量的抽样分布将走向何方”的陈述。

当然有可能满足一个条件,但不能满足另一个条件——我将举两个例子。对于这两个示例,请考虑来自总体X1,...,XnN(μ,σ2)

  • 无偏见但不一致:假设您正在估计那么的无偏估计量,因为但是,并不一致,因为它的分布不会随着样本量的增加μX1μE(X1)=μX1μN(μ,σ2)

  • 一致但并非无偏见:假设您正在估计最大似然估计是其中是样本均值。事实是可以使用此处的信息得出。因此对于任何有限的样本大小都是有偏差的。我们也可以很容易地推导出从这些事实我们可以非正式地看到的分布越来越集中在σ2

    σ^2=1ni=1n(XiX¯)2
    X¯
    E(σ^2)=n1nσ2
    σ^2
    var(σ^2)=2σ4(n1)n2
    σ^2σ2随着样本量的增加,因为均值收敛到并且方差收敛到注意:这确实构成了一致性证明,使用与此处答案中使用的论据相同的论据σ20

估计量的一致性意味着随着样本量变大,估计值越来越接近参数的真实值。无偏性是一种有限样本属性,不受增加样本量的影响。如果估计值等于真实参数值,则估计值是无偏的。这对于所有样本大小都是正确的并且是精确的,而一致性是渐近的并且只是近似相等而不是精确的。

说一个估计器是无偏的,意味着如果你抽取了许多大小为的样本并每次计算估计值,所有这些估计值的平均值将接近真实参数值,并且随着你这样做的次数增加而越来越接近. 样本均值既一致又无偏。标准差的样本估计值有偏差但一致。n

在与@cardinal 和@Macro 的评论中讨论后更新:如下所述,显然存在一些病态的情况,即方差不必为 0 以使估计量保持强一致,而且偏差甚至不必为0个。

的样本并计算估计量与真实参数之间的差异,这将为每个提供一个随机变量。如果我们将这些随机变量的序列作为趋于无穷大,均值和方差都趋于零。无偏意味着特定的这个随机变量的均值为零。nnnnn

因此,一个区别是偏差是特定的属性,而一致性是指当趋于无穷大时的行为。因为另一个区别是偏差只与均值有关(无偏估计量可能大错特错,只要误差平均抵消),而一致性也说明了方差。nn

如果方差不为零,则估计量可以对所有的偏差不为零但趋于零,则估计量可以对所有 n 一致但例如,如果偏差为,则偏差为零,但它永远不会等于零一个序列可以有一个实际上并不相等的限制。nnn1n