贝叶斯网络和马尔可夫链有什么区别?

人工智能 马尔可夫链 贝叶斯网络
2021-11-12 04:15:36

我试图了解贝叶斯网络和马尔可夫链之间的区别。

当我在网上搜索这个时,一致的解决方案似乎是贝叶斯网络是定向的(即它是一个 DAG),而马尔可夫链不是定向的。

然而,马尔可夫链的例子通常是加班,今天的天气影响明天的天气,但明天的天气不会(显然)影响今天的天气。所以我很困惑马尔可夫链如何没有方向性?

我似乎在这里遗漏了一些东西。有人可以帮我理解吗?

2个回答

我不是这方面的专家,但我会尝试解释我对此的理解。

贝叶斯网络是具有有序马尔可夫属性的有向图形模型(DGM),即节点(随机变量)的关系仅取决于其直接父节点,而不取决于其前辈(从一阶马尔可夫过程推广)。

另一方面,马尔可夫链可以是有序的1. 因此,它可能取决于不那么直接的前辈(尽管前辈之间可能没有差距)。

(根据 Kevin Murphy 的书《机器学习的概率方法》的定义)。

现在,在我看来,之所以存在这种混淆/歧义,是因为贝叶斯网络通常被用来模拟因果关系(因此是直接原因)效应),不同类型的随机变量之间,即每个随机变量具有完全不同的状态空间(例如天空是多云或晴天与地面是潮湿或干燥)。

然而,我们通常使用马尔可夫链来表示随机过程(按时间索引的 rv 集合:X0,X1...) 具有马尔可夫属性。因此,对于马尔可夫链,我们有一个状态转移矩阵。因此,随时间索引的 rv 集合具有相同的状态空间以及指定转移概率的转移矩阵。有向图或 DGM 存在于马尔可夫链中,以显示您在时间上向前移动,但每个的状态空间Xk保持不变,因此不存在“真正的父母”。

贝叶斯网络和马尔可夫链之间的主要区别不是马尔可夫链没有方向性,而是贝叶斯网络的图并不平凡,而马尔可夫链的图则有些微不足道,就像前面所有的k节点只会指向当前节点。为了进一步说明为什么这很简单,我们让每个节点代表一个随机变量Xi. 然后节点代表Xi为了tki<t将通过有向边连接到Xt. 也就是说,边缘(Xi,Xt)E为了tki<t和在哪里E是图的边的集合。

为了说明这一点,请参阅下面的示例。

假设我们有一个k阶马尔可夫链,那么根据定义我们有t>k P(Xt=x|X0,...,Xt1)=P(Xt=x|Xtk,...,Xt1).

上述定义与贝叶斯网络定义的主要区别在于,由于图的方向,我们可以对每个都有不同的依赖关系Xt. 考虑下图中的贝叶斯网络 贝叶斯网络

我们会得到的P(X4=x|X1,X2,X3)=P(X4=x|X2,X3)P(X5=x|X1,X2,X3,X4)=P(X5=x|X3).

因此,当前随机变量所依赖的过去事件在贝叶斯网络中不必具有与马尔可夫链中相同的“结构”。