常客环境中的 MCMC

机器算法验证 马尔可夫链蒙特卡罗 蒙特卡洛 期望最大化 大都会黑斯廷斯 常客
2022-03-30 18:19:20

我一直试图了解使用 MCMC 的常客环境中的不同问题。我熟悉 MCMC(或 Monte Carlo)用于拟合 GLMM 以及可能用于 Monte Carlo EM 算法。在使用 MCMC 的地方是否有更频繁的问题?

1个回答

正如许多评论中所指出的,马尔可夫链蒙特卡洛是蒙特卡洛方法的一个特例,它旨在通过伪随机数模拟来近似与分布相关的数量。因此,它与特定的统计范式和该方法的最早实例无关,如 Metropolis 等人。(1953),与统计、贝叶斯或常客无关。如果有的话,这些方法自然是“频率论者”(无论如何都是一个定义不明确的类别),因为它们依赖于随着模拟次数的增加而使频率或平均值趋于预期的稳定性,也就是大数定律。

因此,在非贝叶斯复数问题中,可以使用 MCMC 方法来代替难以处理的积分。检查例如

  1. 优化没有封闭形式表达式的可能性,如在潜在变量和随机效应模型中。由于难以处理的“E”步骤,EM 算法可能无法工作,在这种情况下,需要用 Monte Carlo 或Markov Chain Monte Carlo 近似代替期望。对错误进行可能的评估或者它可能由于难以处理的“M”步骤而无法工作,在这种情况下,有时可以用模拟退火中的马尔可夫最大化过程代替最大化或使用Gibbs 步骤
  2. 计量经济学中的模拟推理方法,如矩的模拟方法间接推理经验似然
  3. 使用难以处理的归一化常数(例如 Ising、Potts 和其他马尔可夫随机场模型)的可能性近似值,例如使用交换算法
  4. 常客的拟合优度测试,这可能需要计算覆盖概率、、幂,以获取没有封闭形式密度的充分或不充分统计数据,或以辅助统计数据为条件。以在(大)列联表中测试独立性(或导出最大似然估计量)为例。p
  5. 再次在计量经济学中,拉普拉斯类型估计器,“其中包括准后验分布的均值和分位数,定义为一般基于非似然的统计标准函数的变换,例如 GMM、非线性 IV、经验似然和最小距离方法中的那些”(切尔诺朱科夫和 Hong,2003),依赖 MCMC 算法。