我怎么知道选择哪种参数估计方法?

机器算法验证 估计 数理统计 最大似然 矩量法 umvue
2022-03-06 04:29:39

有很多参数估计方法。MLE、UMVUE、MoM、决策理论和其他似乎都有一个相当合乎逻辑的案例来说明为什么它们对参数估计有用。是否有任何一种方法比其他方法更好,还是只是我们如何定义“最佳拟合”估计量的问题(类似于最小化正交误差如何从普通最小二乘法产生不同的估计)?

2个回答

这里有两件事有点混淆:推导估计器的方法和评估估计器的标准。最大似然 (ML) 和矩量法 (MoM) 是推导估计量的方法;统一最小方差无偏性 (UMVU) 和决策理论是评估不同估计量的标准,但它们不会告诉您如何推导它们。

在推导估计量的方法中,如果您知道导出数据的模型(行话中的“数据生成过程”(DGP)),ML 通常会产生比 MoM 更有效(即方差更低)的估计量。但是 MoM 对模型的假设较少;顾名思义,它只使用一个或多个矩,通常只使用均值或均值和方差,因此如果您不确定 DGP ,它有时会更加稳健。对于同一个问题,可能有多个 MoM 估计器,而如果您知道 DGP,则只有一个 ML 估计器。

在评估估计器的方法中,决策理论依赖于使用损失函数来判断您的估计器,尽管结果对于一系列“合理”的损失函数可能相当稳健。UMVU 估计器通常甚至不存在;在许多情况下,不存在始终具有最小方差的无偏估计量。并且无偏见的标准也有疑问的有用性,因为它对转换不是不变的。例如,您更喜欢优势比还是对数优势比的无偏估计?两者会有所不同。

我建议估算器的类型取决于以下几点:

  1. 估计错误的后果是什么?(例如,如果你的估计值太高,与太低相比,它是否更糟糕?或者你对误差的方向漠不关心?如果误差是两倍大,这是两倍坏吗?是百分比误差还是绝对误差这很重要吗?估计是否只是预测所需的中间步骤?大样本行为比小样本行为更重要还是更不重要?)
  2. 关于您估计的数量,您的先验信息是什么?(例如,数据与您的数量在功能上如何相关?您知道数量是否为正数吗?离散的?您之前是否估计过这个数量?您有多少数据?您的数据中是否有任何“组不变性”结构?)
  3. 你有什么软件?(例如,如果您没有软件来执行此操作,或者如果您不知道如何执行此操作,请使用 GLMM,那么建议您使用 MCMC。)

前两点是特定于上下文的,通过考虑您的特定应用程序,您通常能够定义您希望估算器具有的某些属性。然后,您选择您可以实际计算的估算器,它具有您希望它具有的许多属性。

我认为教学课程缺乏估计的上下文,这意味着通常使用“默认”标准,类似地用于先验信息(最明显的“默认”是您知道数据的抽样分布)。话虽如此,一些默认方法还是不错的,尤其是如果您对上下文不够了解的话。但是,如果您确实知道上下文,并且您拥有合并该上下文的工具,那么您应该这样做,否则您可能会得到违反直觉的结果(因为您忽略了)。

作为一般规则,我不是 MVUE 的忠实粉丝,因为您经常需要牺牲太多的差异来获得公正性。例如,假设您正在向飞镖靶投掷飞镖,并且您想击中靶心。假设对于特定的投掷策略,与靶心的最大偏差为 6 厘米,但飞镖点的中心在靶心上方 1 厘米。这不是 MVUE,因为中心应该在靶心上。但是假设为了将分布向下移动 1 厘米(平均),您必须将半径增加到至少 10 厘米(所以现在最大误差是 10 厘米,而不是 6 厘米)。这是 MVUE 可能发生的事情,除非方差已经很小. 假设我是一个更准确的投掷,并且可以将我的误差缩小到 0.1 厘米。现在偏见真的很重要,因为我永远不会击中靶心!

简而言之,对我而言,偏差仅在与方差相比较小时才重要。当你有一个大样本时,你通常只会得到小的方差。