机器算法验证 - 为什么 Fisher 信息是（渐近）协方差的倒数，反之亦然？ - 吾爱随笔录

对于多项分布，我花了很多时间和精力使用Sherman-Morrison 公式之类的东西来计算 Fisher 信息的倒数（对于单次试验）。但显然它与适当归一化多项式的协方差矩阵完全相同。

即，计算对数似然、分数及其偏导数、获取他们的期望，然后反转这个矩阵的所有努力都完全浪费了。

在这个问题的答案中似乎也提到了这种关系。

问题：为什么存在这种方便的关系？它是如何正式表述的？

我的猜测是它与“MLE 的渐近分布”有关。具体来说，它在第页上说。Keener的 175 ，理论统计：核心课程的主题，即因此，如果多项式的这个归一化版本满足 Cramer-Rao 下界/信息不等式，（也许？），它的协方差将等于它的渐近协方差？因为 MLE 应该是渐近无偏的。

\sqrt{n} (\hat{θ} - θ) \overset{d}{⟹} N (0, I (θ)^{- 1}) .

$\sqrt{n}(\hat{\theta} - \theta) \overset{d}{\implies} \mathscr{N}(0, I(\theta)^{-1})\,.$

这个问题的基础是我尝试在Lehmann, Romano, Testing Statistical Hypotheses中完成练习 12.56 ，以验证 Pearson 的拟合优度检验是 Rao 分数检验的一个特例，以及我试图理解同一本书的定理 14.3.1 (i) 的证明。在证明中，当显示统计量在分布中收敛到时，他将这个看似不合时宜，但它解决了问题。 $\chi^2$ $\chi^2_k$

V_{n} := n^{1 / 2} (\frac{N_{1}}{n} - p_{0} (1), \dots, \frac{N_{k}}{n} - p_{0} (k)),

$V_n := n^{1/2}\left(\frac{N_1}{n} - p_0(1), \dots, \frac{N_k}{n} - p_0(k)\right) \,,$

但我的朋友告诉我，是多项式参数的 MLE。如果这是真的，那么 Lehmann 和 Romano 从帽子里拉出来的向量实际上是，对于它，由上面关于渐近分布的结果MLE, $(\frac{N_1}{n}, \dots, \frac{N_k}{n})$ $\sqrt{n}(\hat{\theta}_n - \theta)$

V_{n}^{T} I (θ) V_{n} \overset{d}{⟹} χ_{k}^{2} .

$V_n^T I(\theta) V_n \overset{d}{\implies} \chi^2_k \,.$

但是在 Lehmann-Romano 中，他们推导出这个作为的协方差的倒数。他们怎么知道如何做到这一点？即他们怎么知道在这种情况下Cramer-Rao 下限成立？ $I(\theta)$ $V_n$