机器算法验证 - 为什么要使用观察到的 Fisher 信息？ - 吾爱随笔录

为什么要使用观察到的 Fisher 信息？

机器算法验证最大似然费希尔信息

2022-02-03 07:08:03

在标准最大似然设置（iid 样本来自密度为 ) 的某个分布）和正确指定模型的情况下，Fisher信息由 $Y_{1}, \ldots, Y_{n}$ $f_{y}(y|\theta_{0}$

I (θ) = - E_{θ_{0}} [\frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)]

$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$

其中期望是相对于生成数据的真实密度而采取的。我已阅读观察到的 Fisher 信息

\hat{J} (θ) = - \frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)

$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$

主要使用，因为在某些情况下，计算（预期）Fisher 信息所涉及的积分可能不可行。令我困惑的是，即使积分是可行的，也必须对真实模型采取期望，即涉及未知参数值。如果是这种情况，似乎在不知道的情况下不可能计算。这是真的？ $\theta_{0}$ $\theta_{0}$ $I$

2个回答

这里有四个量：真实参数、一致估计、\theta 处的预期信息处的观察信息 ) 。这些数量只是渐近等效的，但这通常是它们的使用方式。 $\theta_0$ $\hat \theta$ $I(\theta)$ $\theta$ $J(\theta)$ $\theta$

观测信息以概率收敛到预期信息当是来自的独立同分布样本时。这里表示期望 w/r/t 由索引的分布：。由于大数定律，这种收敛成立，因此的假设在这里至关重要。
$J (θ_{0}) = \frac{1}{N} \sum_{i = 1}^{N} \frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y_{i} | θ_{0})$ $J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$ $I (θ_{0}) = E_{θ_{0}} [\frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y | θ_{0})]$ $I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$ $Y$ $f(\theta_0)$ $E_{\theta_0} (x)$ $\theta_0$ $\int x f(x | \theta_0) dx$ $Y \sim f(\theta_0)$
当你有一个估计以概率收敛到真实参数（即，是一致的）然后你可以用它代替你在上面看到的任何地方，主要是由于连续映射定理，并且所有的收敛继续成立。 $\hat \theta$ $\theta_0$ $\theta_0$ $^*$

$^*$ 实际上，它似乎有点微妙。

正如您所推测的，观察到的信息通常更容易处理，因为微分比积分更容易，并且您可能已经在一些数值优化过程中对其进行了评估。在某些情况下（正态分布）它们是相同的。

Efron 和 Hinkley (1978) 的文章“评估最大似然估计量的准确性：观察到的与预期的 Fisher 信息”提出了有利于有限样本的观察到的信息的论点。

有一些模拟研究似乎支持 Efron 和 Hinkley 的理论观察（在 Andrew 的回答中提到），这是我临时知道的一个：Maldonado, G. 和 Greenland, S. (1994)。当正确的模型形式未知时，基于模型的置信区间的性能比较。流行病学, 5, 171-182。我没有看到任何有冲突的研究。有趣的是，我所知道的标准 GLM 包使用预期信息来计算 Wald 区间。当然，当（如在自然参数中线性的 GLM 中）观察到的和预期的信息矩阵相等时，这不是问题。

其它你可能感兴趣的问题

上一篇从 Python 中的 von Mises-Fisher 分布中采样？下一篇为什么n--√n在渐近正态性的定义中？

为什么要使用观察到的 Fisher 信息？

评论