马尔可夫/贝叶斯网络中 I-map 的解释

机器算法验证 机器学习 条件概率 图形模型 贝叶斯网络 图论
2022-03-08 00:13:54

在马尔可夫网络和贝叶斯网络的背景下,我发现 I-map(独立映射)的概念难以理解。来自概率图形模型,Koller 和 Friedman,2009:

我们首先定义与分布相关的一组独立性P.

P是一个分布X. 我们定义I(P)是形式的独立断言的集合(XY|Z)坚持P.

我们现在可以重写“P满足与相关的本地独立性G"简单来说I(G)I(P). 在这种情况下,我们说G是一个 I-mapP.

我感到困惑的地方:

  • 给定变量集的每个可能子集,这是否表示图中所有可能的独立性Z? 或者你能定义I(P)因为指定了图形结构?

  • 整个最后一句话让我感到困惑。可能是因为我想的不够抽象,但是我不明白 G 的 I-map 怎么是 P 的 I-map 的一个子集。

任何帮助表示赞赏!

2个回答

根据我的理解,如果说一个 DAG G 是概率分布 P 的 I-Map,那么我们可以从 G 观察到的每个独立性都被编码在 P 中。让我们考虑一个简单的例子:
假设分布P1有独立性{(ID)p}, 和分布P2没有独立性,或.
现在我们定义两个 DAG:GG
在此处输入图像描述
G是 I-Map 的P1因为ID两者都是独立的GP1.G不是 I-Map 的P2因为P2未能满足 I 和 D 之间的独立性。
(很奇怪?)G是两者的 I-MapP1P2因为独立于G. 自从是每个集合的子集,两者P1P2满足独立性G.
因此,I-Map 通俗地说,就是 DAG 中显示的独立性是分布中显示的独立性的子集。
希望这有助于为您清除一点。

给定变量集的每个可能子集,这是否表示图中所有可能的独立性Z? 或者你能定义 I(P)因为指定了图形结构?

否。DAG 表示的所有可能的条件独立性的集合I(G)不同于我们可以在某个联合分布中找到的所有可能的条件独立性的集合I(P).

整个最后一句话让我感到困惑。可能是因为我想的不够抽象,但是我不明白 G 的 I-map 怎么是 P 的 I-map 的一个子集。

一般I(G)I(P)这意味着我们从图中的连通性中看到的一组独立性只是联合分布所具有的独立性的一部分,这表明了d-分离的健全性而不是完整性。我们可以从图中轻松获得的所有独立性都是正确的,并且可以在联合分布中得到验证,但一些依赖/边是多余的。如果我们不使用图表来直观地表达独立性,那么我们将很难通过直接检查联合分布来解决相关问题。

贝叶斯网络的使用是表达条件独立性,我们可以使用图表来表达我们正在处理的联合分布的条件独立性越多越好。由于宇宙中几乎所有事物都在某种程度上以某种方式相互依赖,我们可以通过假设一些独立性来简化问题,否则我们无法解决任何问题。

一个简单的例子:对于每个全连接图I(G)=和每一个是任何联合分布中独立性集合的子集,因此这始终成立:I(G)I(P). 但是该图完全没有代表性和无用,因为它没有告诉我们分布中的独立结构。

如果I(G)=I(P)该图是一个完美图:P-Map,这意味着所有的独立性都可以用图完美地表达(并且图中的所有独立性都适合联合分布)。