最大似然法和矩量法何时产生相同的估计量?

机器算法验证 数理统计 最大似然 估计者 矩量法
2022-01-30 03:52:50

前几天有人问我这个问题,以前从未考虑过。

我的直觉来自每个估算器的优势。最大似然最好是当我们对数据生成过程有信心时,因为与矩方法不同,它利用了整个分布的知识。由于 MoM 估计器仅使用矩中包含的信息,当我们试图估计的参数的充分统计量恰好是数据的矩时,这两种方法似乎应该产生相同的估计。

我已经用几个分布检查了这个结果。正态(未知均值和方差)、指数和泊松都具有与其矩相等的足够统计量,并且 MLE 和 MoM 估计量相同(对于具有多个 MoM 估计量的 Poisson 等情况并非严格如此)。如果我们看制服(0,θ), 的充分统计量θ最大限度(X1,,Xñ)MoM 和 MLE 估计量不同。

我想这也许是指数族的一个怪癖,但对于已知均值的拉普拉斯来说,足够的统计数据是1n|X一世|并且方差的 MLE 和 MoM 估计量不相等。

到目前为止,我通常无法显示任何类型的结果。有人知道一般情况吗?甚至一个反例也能帮助我完善我的直觉。

1个回答

一个普遍的答案是,基于矩方法的估计量不会因参数化的双射变化而保持不变,而最大似然估计量是不变的。因此,它们几乎从不重合。(几乎从不跨越所有可能的转换。)

此外,如问题中所述,有许多 MoM 估计量。实际上,它们有无数个。但它们都是基于经验分布,F^,这可以看作是一个非参数 MLEF,尽管这与问题无关。

实际上,提出问题的更合适的方法是询问矩估计量何时足够,但这迫使数据的分布来自指数族,根据 Pitman-Koopman 引理,当答案已经是已知。

注意:在拉普拉斯分布中,当均值已知时,问题等同于观察绝对值,这些绝对值是指数变量,是指数族的一部分。