效率的概念

机器算法验证 估计 数理统计 效率
2022-03-13 15:27:56

我在理解与估算器相关的效率概念时遇到了一些问题。我的资料(Mukhopadhyay,2000 和 Casella,Berger,2002)没有像我预期的那样对待这个论点,因为他们只分析了渐近效率的概念。

我不明白是否存在在有限样本中也(或仅)有效的效率概念。或者,如果效率本身不是一个概念,它仅用于比较估算器,谈论更有效的估算器等等。

我所知道的是,如果估计器达到 Cramér-Rao 下界,它就是有效的。但这只是一种表征,而不是一种定义。此外,Cramér-Rao 不等式仅指估计量的子集,即对于某个无偏的估计量。效率的概念仅在无偏估计的情况下才有意义?τ(θ)

如果有人可以为我提供一些关于效率和高效估算器概念的资料或简要说明,我将不胜感激。

3个回答

效率是一个“本身”的概念,因为它是衡量估计器与“真实”参数的可变性(和偏差)的程度。对于给定的损失函数,在给定的样本大小下,与给定的估计器相关联的效率一个实际数值。这个实际数字与估计器、样本大小和损失函数有关。

渐近效率着眼于随着样本量的增加估计量的效率。更重要的是估算器变得高效的速度,但这可能更难以确定。

相对效率着眼于估计器相对于替代估计器的效率(通常在给定的样本量下)。

效率需要指定一些损失函数。最初,当仅考虑无偏估计量时,这是方差。如今,这通常是 MSE(解释偏差和可变性的均方误差)。可以使用其他损失函数。经典的 Cramer-Rao 界仅适用于无偏估计量,但已扩展到许多其他损失函数(尤其是 MSE 损失)。

一个重要的附加概念是估计量的可接纳性和支配性。

维基百科条目有许多链接。

我想知道效率概念在无偏估计器的受限情况之外(甚至在内部)的全球相关性。一般(频率论者)版本是带有偏差 b(θ) 的 [任何变换]的估计量 而贝叶斯版本是van Trees对积分平方误差损失的 其中分别是 Fisher 信息和先验熵。但这打开了一整罐蠕虫,在我看来,因为δθ

I(θ)¹(1+b(θ))²
(E(I(θ))+I(π))¹
I(θ)I(π)

  1. 确定给定的估计器是有效的需要计算该估计器的偏差和方差,这在考虑贝叶斯估计器甚至 James-Stein 估计器时并不是一件容易的事。我实际上不知道是否有任何主导标准正态平均估计量的估计量被证明是有效的(尽管存在詹姆斯-斯坦估计量二次风险的封闭形式表达式的结果,包括我在 加拿大统计杂志上的一个)。或者是否有一个结果表明与二次损失相关的(任何?)适当的贝叶斯估计在第一或第二意义上默认是有效的?
  2. 而最初的 Fréchet-Darmois-Cramèr-Rao 界仅限于无偏估计量(即),并且除了指数族设置中的自然参数之外,无法在所有设置中产生有效的估计量,移动到都存在一个效率概念,这使得该概念非常弱,但不一定会产生有效的估计量,这是认真对待这一概念的主要障碍;b(θ)0b(θ)
  3. 从方差转移到平方误差损失并不比使用任何[其他] 方差和平方偏差的凸组合更“自然”,从而创建了一个全新的最优类;
  4. 我从来没有研究过范树不等式,所以不能说太多,除了各种先验之间的比较是微妙的,因为综合风险是针对不同的参数度量的。

是的,有效的估计量是达到 CRB 的估计量,因此只考虑无偏估计量。这不是描述,而是定义。