机器算法验证 - 通过近似数据似然进行贝叶斯推理 - 吾爱随笔录

假设我们有一个非常大的独立同分布样本 $x_1,...,x_n$ 和定义的数据可能性

p (X | θ, β) = \prod_{一世} p (X_{一世} | θ, β)

$p(x | \theta,\beta) = \prod_ip(x_i | \theta,\beta)$ . 进一步假设

θ

$\theta$ 是感兴趣的参数，我们有一个非常丰富的先验信息

p (θ)

$p(\theta)$ .

β

$\beta$ 是一组令人讨厌的参数，对于这些参数，我们对先验的内容没有很好的直觉

p (β)

$p(\beta)$ 应该是，尽管考虑先验是分散的是合理的。

当然可以对完整模型执行 Gibbs 采样以从后验中获取样本，但是我一直在考虑替代方案，因为计算复杂性是一个问题。

考虑改为观察

z (θ) = {\hat{我}}^{1 / 2} (\hat{θ} - θ) ～ ñ (0, 1)

$z(\theta) = \hat{I}^{1/2}(\hat{\theta} - \theta) \sim N(0,1)$ 在哪里

\hat{θ}

$\hat{\theta}$ 是 MLE 和

\hat{I}

$\hat{I}$ 是估计的 Fisher 信息。然后我们有

p (θ | z) \propto p (z (θ) | θ) p (θ) .

$p(\theta | z) \propto p(z(\theta) | \theta) p(\theta).$ 如果

p (θ)

$p(\theta)$ 是正态分布的，则后验有一个闭合形式的正态解。此外，贝叶斯中心极限定理向我们保证，后验使用

z

$z$ 接近完整的数据后验。

我一直在文献中寻找做这样的事情的参考，但结果是空的。谁能指出我的想法中的参考或缺陷？