机器算法验证 - Fisher 信息的倒数何时准确？(MLE) - 吾爱随笔录

机器算法验证自习数理统计最大似然

2022-03-22 09:52:41

我只是有一个关于 MLE 的快速问题。

有时，在做 MLE 问题时，我看到从 Fisher 信息的逆得到的方差表达式与它应该的完全一样，有时它不是。对于某些发行版，这种方法是否准确？另外，为什么对于某些发行版，例如 $geom0(\pi)$ , 是不是很难找到一个精确的公式 $var(\tilde\pi)$ ?

非常感谢你的帮助！

编辑：

$Geom0(\pi)$ 是 PMF 所在的几何分布 $(1-\pi)^y\pi$ 在哪里 $y=0,1,2,...\infty$ 与 $Geom1(\pi)$ PMF 在哪里 $(1-\pi)^{(y-1)}\pi$ 在哪里 $y=1,2,...\infty$ . 对困惑感到抱歉！

1个回答

有时，在做 MLE 问题时，我看到从 Fisher 信息的逆得到的方差表达式与它应该的完全一样，有时它不是。

一切都取决于“完全应该是这样”的含义；）

无论如何，我认为您需要再次查看Cramer-Rao 绑定。Fisher 信息的倒数仅给出了无偏估计量方差的下限。实现这一点的估计器称为有效估计器，因为它在无偏的情况下具有尽可能低的方差。

但是有很多无偏估计器没有达到这个界限。有很多有偏见的估计器，但在实践中仍然有用。例如，方差的最大似然估计是有偏差的，但在很多时候仍然足够好。这些可能是你遇到的。

至于为什么有时很难找到方差估计的封闭形式解决方案等，我只会说，如果那里的每个概率分布都有我们感兴趣的东西的良好封闭形式表达式，那将是非常令人惊讶的.

其它你可能感兴趣的问题