什么是“消息传递方法”?

机器算法验证 分布 贝叶斯 参考 算法
2022-01-31 13:55:33

我对什么是消息传递方法有一种模糊的感觉:一种算法,它通过迭代地构建分布的每个因子的近似值来构建分布的近似值,条件是所有其他因子的所有近似值。

我相信这两者都是Variational Message PassingExpectation Propagation的例子。什么是更明确/正确的消息传递算法?欢迎参考。

2个回答

由于您要求参考,我可以推荐 David MacKay 的第 16 章Information Theory, Inference, and Learning Algorithms(您无需阅读前 15 章即可理解第 16 章)本书可从作者网站免费下载(经出版商许可)。

举一个有趣的例子,看看John Winn的论文。使用消息传递算法进行通用变分集成学习 - 可以简单地构建推理问题,例如 ICA 和 PCA。

也许关于信仰传播的文章会有所帮助。

本文给出了两个要点描述“消息”如何沿因子图中的边缘传递。这种“消息传递”可以对任何图形进行。对于树,该算法在某种意义上是精确的,因为它可以计算树中节点的期望边缘分布和联合分布。一般图的算法迭代是试图产生所需边缘或联合分布的近似值。