在混合模型的 MCMC 估计中是否有处理标签切换问题的标准方法?

机器算法验证 贝叶斯 马尔可夫链蒙特卡罗 混合分布
2022-01-31 21:20:14

在使用 MCMC 估计混合模型时,标签切换(即后验分布对于切换组件标签是不变的)是一个有问题的问题。

  1. 是否有处理该问题的标准(如被广泛接受的)方法?

  2. 如果没有标准方法,那么解决标签切换问题的主要方法的优缺点是什么?

2个回答

这里有一个关于这个问题的很好的和合理的最近讨论:

Christian P. Robert多模态和标签转换:讨论。混合物研讨会,ICMS,2010 年 3 月 3 日。

本质上,有几种标准策略,每一种都有优点和缺点。最明显的做法是以确保只有一种后验模式的方式来制定先验(例如,对混合分量的均值进行排序),但这对后验产生了奇怪的影响,并且因此一般不使用。接下来是在采样期间忽略问题,然后对输出进行后处理以重新标记组件以保持标签一致。这很容易实现并且似乎工作正常。更复杂的方法在线重新标记,要么保持单一模式,要么故意随机排列标签以确保混合多种模式。我非常喜欢后一种方法,但这仍然留下了如何有意义地总结输出的问题。但是,我认为这是一个单独的问题。

Gilles Celeux也致力于标签转换的问题,例如

G. Celeux,混合的贝叶斯推理:标签切换问题。 Proceedings Compstat 98,第 227-232 页,Physica-Verlag (1998)。

作为@darrenjw 的好答案的补充,这里有两篇回顾替代策略的在线论文:

  1. Jasra 等人,马尔可夫链蒙特卡罗方法和贝叶斯混合建模中的标签切换问题
  2. Sperrin 等人,贝叶斯混合模型中标签切换问题的概率重新标记策略