最大似然估计量是渐近无偏的吗?

机器算法验证 最大似然 渐近的 泰勒系列
2022-03-22 00:03:57

我可以遵循导出的渐近正态分布的证明。θ~n

然而,这是否已经暗示最大似然估计是渐近无偏的,即我们是否有

E(θ~n)θ as n?

因为我知道,一般来说,分布收敛意味着瞬间收敛是不正确的,所以解释一下会很好。

结果通常在例如维基百科中被表述为“......这意味着最大似然估计量的偏差等于零,直到 ”)n1/2

1.) mle 理论中的某种规律性条件是否用于建立这个结果?

2.) 或者一个 - 估计量的收敛(到正态分布)通常已经足以建立其矩的收敛?n

注意:维基百科文章提到 Cox, David R.;斯内尔,E.乔伊斯 (1968)。残差的一般定义,作为导出偏差阶数的来源(公式(12)或(20))。

但是在本文中,我不能 100% 遵循这些论点,因为它们的的泰勒近似缺少余项。这里用来完全抛弃它的论点是什么?L(β^)

1个回答

我在这个答案中提出了围绕“渐近无偏”概念的问题。简而言之,问题在于它是定义为“一阶矩序列收敛到真值”,还是“期望值等于真值的渐近分布”(被估计的参数)。

在第二种方法下(在我看来这是更直观的方法,而第一种和 OP 讨论的方法可以称为“极限无偏”),我们认为估计量的渐近一致性也足以满足渐近无偏性。然后,当 MLE 是一致的(通常是)时,它也将是渐近无偏的。

不,我使用这个术语的渐近无偏性并不能保证“极限无偏性”(即第一矩序列的收敛)。

矩序列的极限等于渐近分布的对应矩的条件可以在这里这里找到。