“共轭先验”与近似推理之间的关系是什么?

机器算法验证 机器学习 贝叶斯 变分贝叶斯 共轭先验
2022-03-25 14:04:51

我知道“共轭先验”是为了帮助我们计算贝叶斯公式的分母(使计算更容易)。我刚刚学会了通过平均场近似来近似推断,以帮助我们计算贝叶斯公式的分母(使计算更容易)。

两者之间有什么关系?如果我们有一个共轭先验,为什么我们需要“平均场近似”?

2个回答

选择先验不是为了方便,而是为了反映自己对模型参数的信念或缺失。因此,总是选择共轭先验没有根本原因,主要理由是计算。此外,

  1. 共轭先验仅存在于指数族模型。在这些模型之外,没有容易处理的先验,并且总是需要计算工具。
  2. 变分贝叶斯近似本身是基于对精确模型的指数族近似。

一点关系都没有。如果您使用共轭先验,则解决方案以封闭形式存在,因此您不需要使用 MCMC 或近似推理之类的东西来获得解决方案。