图模型和分层贝叶斯模型之间有什么关系?

机器算法验证 机器学习 贝叶斯 图形模型 分层贝叶斯 达格
2022-03-17 12:31:48

我搜索了很多文献,但未能找到两者之间的确切区别。我的印象是,在机器学习文献中你会发现分层贝叶斯建模的典故,但在统计学文献中你很少会发现 PGM 的典故。希望你们能消除我的困惑。我有一些具体的问题,但很乐意让有经验的人向我解释他们的直觉。(我即将开始认真研究这些东西,这就像在我的大脑中“铺平道路”,或者类似的东西。)

  1. 由于分层贝叶斯模型也是有向无环图,你能在这种情况下使用 PGM(连接树等)的消息传递算法吗?
  2. 贝叶斯网络通常将随机变量表示为条件概率表,可以通过计数来填写(最大似然)。将分层贝叶斯视为该想法的某种计算上更灵活的版本是否正确,您可以使用可以查询的数学函数(参数概率分布)代替 CPT?
  3. 在这种情况下,超参数/超先验的作用是什么?您的推理过程是否关注在观察数据后推断超参数,然后设置这些参数以统计有用的方式向下传播层次结构?(这听起来就像每次你抽象出层次结构中的一个节点与父节点时,你都会创建一种聚类模型)。

任何描述这两个概念的文献将不胜感激。非常感谢!

3个回答

首先,我想让你看看这个癌症发病率建模的例子。 https://stats.stackexchange.com/a/86231/29568
图形模型是对模型中随机变量之间的独立性进行编码的图形。具有随机变量假设的图形模型可以为我们提供给定参数的联合分布。我们可能知道也可能不知道图形模型的参数。我们可能会或可能不会将先验放在参数上,并且可能会或可能不会将先验放在先验上。
分层贝叶斯更多的是在更高层次上共享共同事物,同时在更细粒度的层次上具有变化。另一种看待这一点的方式是数据生成过程,因为我们在多个级别的未知数量(通常以板的形式)中对变量进行采样。我们也可以将其视为旨在计算后验,但为此我们需要指定先验,其中是超参数。很可能我们不知道是什么。一种更贝叶斯的方法是将先验放在上。 因此,在这种情况下,简单的层次结构可能是p(θ|D)p(θ|η)ηηη
ηθD
分层贝叶斯是关于建模的。推理在这里是一个不同的问题。JTA 或消息传递可以在 DAG 或 MN 上完成(DAG 可以通过诸如道德化之类的操作转换为 UGM)。同样在学习概率表方面,参数本身是表并且是固定的(可以由 MLE 完成)。通过更加贝叶斯,我的意思是我想对表格估计中的不确定性进行建模,并且我想对表格上的分布进行建模,即在这种情况下分布在离散分布上。通过类似的论点,我们希望对超参数中的不确定性进行建模并设置它们的先验。

在图形模型、指数族和变分推理中的第 2.4.1 节中有对该主题的简要参考

我的理解是层次模型可以用 DAG 来表示。因此,我们所有关于概率图模型的知识都适用。一个区别(这并不是真正的区别)是在分层模型中,通常包含超先验。或者至少在层次模型的上下文中更频繁地讨论超先验。