是什么让常数函数成为估计量?

机器算法验证 数理统计 定义
2022-03-21 01:23:07

这是理论上的。这个问题的灵感来自最近关于bootstrap的问题和讨论,其中一个常数估计器,即一个常数函数

f(x)=λ

被用作估计器的示例,以显示使用引导程序估计偏差的问题。我的问题不是它是“好”还是“坏”的估计量,因为它独立于数据,所以它必须很差。然而,虽然我同意拉里·瓦瑟曼在他的手册“所有统计数据”中给出的定义:

对估计器的一个合理要求是,随着我们收集越来越多的数据,它应该收敛到真实的参数值。该要求由以下定义量化:
6.7 定义。如果 ,则参数的点估计量一致的。θ^nθθ^nPθ

那么困扰我的是即使使用也不会接近,因为它是常数。θ^nθn

所以我的问题是:是什么让常量函数成为估计量?有什么理由这样做?它的属性是什么?常数函数和其他估计器之间有什么相似之处?能否也提供一些参考?

3个回答

估计器只是试图估计未知总体参数的潜在数据样本的一些函数。这是一个食谱或公式。您的常数是一个完全不依赖于数据的估计量:产生的估计值将始终相同。

估算器的数量是无限的,其中大多数是“坏的”。这意味着什么?估计器具有理想的属性,这导致它们在某些条件下产生“良好”的估计。其中一些

  • 计算成本
  • 不偏不倚
  • 一致性
  • 效率
  • 稳健性(对违反估计量保持其理想属性的假设不敏感)

这些目标往往相互矛盾。该常数具有最低的计算成本,但可以说没有其他常数。

我认为这不是“什么使常数函数成为估计器”的问题,而是“是什么使估计器成为估计器”的问题。首先,从数学的角度来看,估计量是一个特殊类型的函数,它是一个随机变量,满足一些要求——它是一个统计量,这意味着它必须独立于(它的“估计量”)。常量函数独立于,(它独立于任何东西:)。θθ

例子。的统计量,而不是 \mu 的统计量 '因为它依赖于本身)。T=X¯μS=X¯μμμ

因此,常数函数是具有这两种特性的对象,因此有理由称其为“估计器”。

非常重要的是,我们想要的不是“任何”估计量。任何估计器都可能有偏差,这意味着我们获得的每个样本都会增加或减少一些东西。你希望你的浴室秤准确地显示你的体重(或者女性更倾向于欺骗自己:)。

我们想要一个能够最小化均方误差的估计器()。但是没有一个估计器可以最小化这个错误——它是一个这样的估计器家族。那么哪一个是最好的呢?一个好的估算器是满足某些要求的估算器。我知道其中三个:MSE=E(θ^θ)2

  • 不偏不倚——它不会增加或减少任何东西。数学上是Eθ^=θ
  • 一致性(这是你书中写的)
  • 最大效率指的是估计器的方差 - 我们希望方差尽可能小。

有人写过计算成本,但这不是数学/概率问题。

因此,一个常数函数实际上是一个估计量,但不是期望的,因为至少它是有偏差的并且不一致(正如你所注意到的)。这些是常量函数和其他(好的)估计器之间的差异。

这或多或少是我对你问题的回答。我认为,更进一步将使我们挖掘一些数学方程式,以显示更多的差异或相似之处等。

常数估计器/预测器可用作判断“适当”估计器/预测器性能的基准。
一个标准的例子是在二元逻辑回归的背景下,我们试图估计条件概率,利用可能存在于回归变量中的信息,以便更好地预测与因变量相关的概率,在某种意义上,

P(Yi=1xi)=Λ(g(xiβ))

其中是 Logistic 累积分布函数,是 logit。Λ()g(xiβ)

但是由于我们有可用的样本,我们也可以非常便宜地估计无条件概率,

P^(Y=1)=1ni=1nyi

然后我们可以比较与“朴素”(和常数)估计器前者应该做得更好,否则我们尝试使用包含在概率信息的所有麻烦都没有得到回报。 P^(Yi=1xi)=Λ(g(xiβ^))P^(Y=1)YX

可以在此处找到有关此问题的 CV 线程(另请查看评论)。