边际似然的稳健 MCMC 估计?

机器算法验证 蒙特卡洛 可能性 边际分布
2022-03-22 16:26:13

我正在尝试通过蒙特卡罗方法计算统计模型的边际似然:

f(x)=f(xθ)π(θ)dθ

可能性表现良好 - 平滑,对数凹 - 但高维。我尝试过重要性抽样,但结果很不稳定,并且很大程度上取决于我正在使用的提案。我曾短暂考虑过使用 Hamiltonian Monte Carlo 来计算后验样本,假设在上有一个统一的先验并取调和均值,直到我看到这个经验教训,调和平均值可以有无限的方差。是否有一个替代的 MCMC 估计器几乎一样简单,但具有良好的方差?θ

2个回答

退火重要性采样怎么样?它的方差比常规重要性抽样低得多我已经看到它被称为“黄金标准”,实施起来并不比“正常”重要性抽样难多少。从某种意义上说,您必须为每个样本进行一堆 MCMC 移动,这会比较慢,但每个样本往往质量非常高,因此在您的估计稳定之前您不需要那么多移动。

另一个主要的替代方法是顺序重要性抽样。我的感觉是它的实现也相当简单,但它需要对我所缺乏的顺序蒙特卡罗(AKA 粒子过滤)有一定的了解。

祝你好运!

编辑添加:看起来您链接到的 Radford Neal 博客文章也推荐退火重要性采样。让我们知道它是否适合您。

可能有助于阐明边际分布计算。另外,我建议使用Friel 和 Pettitt介绍的幂后验方法。这种方法似乎很有前途,尽管它有一些局限性。或者你可以通过正态分布对后验分布进行拉普拉斯近似:如果 MCMC 的直方图看起来对称且类似正态,那么这可能是一个很好的近似。