对统计估计量的理想属性(无偏性、一致性、效率)的直观解释?

机器算法验证 数理统计 估计 推理 无偏估计器 估计者
2022-03-29 09:04:07

从文献中我了解到统计估计器的理想属性是

  1. 无偏性——我们希望估计器给出正确的参数值 theta,平均而言,与样本大小无关——定义为

在此处输入图像描述

  1. 一致性- 我们希望更大的样本量能够逐步更好地估计正确的参数值 theta 并以概率渐近收敛到 theta - 定义为

在此处输入图像描述

  1. 效率——我们希望无偏估计器具有尽可能低的方差——由 Cramer-Rao 界确定。然而,有效的估计器并不需要在所有情况下都存在。

我并不真正了解这些属性中的每一个以及它们之间的区别。请解释这些属性的直观含义,然后是其背后的数学。

参考链接 - https://www.cs.utah.edu/~suyash/Dissertation_html/node6.html

2个回答

无偏性意味着在关于总体分布的假设下,重复抽样中的估计量将平均等于总体参数。这是最小方差无偏估计量理论的一个很好的属性。但是,我认为不偏不倚被过分强调了。均方误差可以很好地衡量估计器的准确性。它等于估计量偏差的平方加上方差。有时,具有小偏差的估计器的均方误差小于具有大方差的无偏估计器。

有偏差的估计量可以是渐近无偏的,这意味着随着样本量变大,偏差趋于 0。如果估计量是渐近无偏的,并且随着样本量变大方差变为 0,则估计量是一致的(概率)。从技术上讲,在测度论中,概率收敛和几乎肯定收敛之间存在差异。Cramer Rao 下界是一个数学结果,它表明在特定的参数分布族中,没有无偏估计量的方差可以小于该界限。因此,如果您可以证明您的估算器达到了 Cramer Rao 下限,那么您就有了一个有效的估算器。

想想向一个目标开火。如果你一直把目标打得太低,你就有偏见。如果您的箭头紧密分组,您就有一个有效的估计。您可能对莫里斯·肯德尔 (Maurice Kendall) 关于该主题的诗感兴趣或感到好笑http://www.columbia.edu/~to166/hiawatha.html