确定此马尔可夫链的通信类

机器算法验证 马尔科夫过程
2022-03-27 21:41:05

假设我们有一个带有概率矩阵的马尔可夫链

P=(0.250.250.50000.6600.33000.250.250.250.250.5000.250.250000.20.8)

我很困惑,它可能看起来很基础,但我不想让它在考试中碰运气。

什么是通信类。

我原以为所有状态都通信时只有一个,因此它是不可约的。

但是状态 4 和 5 可以是一个类吗?

3个回答

我不熟悉马尔可夫链的通信类的定义,但在维基百科和剑桥大学的 这个网页上给出的定义中发现了一致。

假使,假设{Xn}n0是一个时间同质的马尔可夫链。两个来源都陈述了一组状态C一个马尔可夫链是一个通信类,如果所有状态C交流。然而,对于两个州,ij, 沟通, 只需要存在n>0n>0这样

P(Xn=i|X0=j)>0

P(Xn=j|X0=i)>0

没有必要n=n=1正如@Varunicarus 所述。正如你所提到的,这个马尔可夫链确实是不可约的,因此马尔可夫链的所有状态形成一个单一的通信类,这实际上是维基百科条目中给出的不可约性的定义。

对于像这样的小型转移矩阵的问题,绘制马尔可夫链的有向图并查看是否可以找到包含马尔可夫链所有状态的循环通常很有帮助。如果是这样,则链是不可约的,并且所有状态形成一个单一的通信类。对于更大的转移矩阵,需要更多的理论和/或计算机编程。

在不可约马尔可夫链中,所有状态都属于一个通信类。

给定的转移概率矩阵对应于一个不可约的马尔可夫链。这可以通过绘制状态转换图很容易地观察到。

在此处输入图像描述

或者,通过计算P(4),我们可以观察到给定的 TPM 是规则的。这得出结论,给定的马尔可夫链是不可约的。

P(4)=0.15769380.25839280.083125000.23279330.25886250.16551150.28544740.116325000.21615690.19231580.15003750.18956780.099531250.20756830.34655000.12187500.21351250.106250000.22156880.33346880.12775000.06150000.077500000.18927500.5437250

此矩阵的通信类为:{1}、{2}、{3}、{4,5}。

状态 4 和 5 直接相互通信,因此它们构成了相同的通信类——它们是等价的类。其他州没有双向直接通信。例如,您可以从 4 访问状态 1,但不能从 1 访问状态 4,因此状态 4 和 1 不在同一个通信类中。

免责声明:所以我自己刚开始学习这个主题——我觉得你有一个糟糕的讲师很痛苦——因此以上是新手理解的结果。