我正试图围绕Population Monte Carlo Algorithm。我想为混合模型实现它,但我不确定如何进行。我主要是在寻找参考资料或潜在的代码。
我已经实现了一个简单的 Gibbs 采样器,它似乎没有收敛,即存在一个可识别性问题 wrt 集群的排列。
编辑:当我说 PMC 时,我指的是 Cappé 2004 年的论文。
我了解基本的 Gibbs 采样器,我的直觉是,在 Gibbs 采样器的每次迭代中,我都会对一组参数进行采样(而不是单个参数)。然后我估计我的总体中每个参数的权重,并通过从这个离散的总体分布中以与权重成比例的概率进行抽样来创建我的新样本。
权重是根据我上一个样本计算的,这意味着我更喜欢与我上一个样本更相似的样本。因此,在对混合模型进行抽样时,我不希望在抽样中得到一些簇的排列,因为我试图通过偏爱相似的样本来确定簇。
这有意义吗?
EDIT2:我现在正在阅读西安指出的这篇论文。我试图了解高斯混合模型的参数更新。所以给定一些数据,我不会估计混合比例和参数。我正在查看等式 (10) 中的更新:
等式 (11) 和 (12) 中显示了特定于高斯混合的更新。我不明白的是,我的原始数据是从哪里来的。似乎我在每次迭代中对数据进行采样,但我不明白这有什么帮助,或者为什么我应该这样做。请注意,我只对在给定数据的情况下估计混合参数感兴趣。
在第 2.3 节的开头,作者描述了如何通过任意固定混合参数然后绘制与潜在变量相关联。我不完全了解潜在变量是如何在那里发挥作用的,而且我看不到与我想要估计混合参数的数据集的任何联系。