你怎么看马尔可夫链是不可约的?

机器算法验证 随机过程 马尔科夫过程
2022-01-20 06:23:34

我在理解马尔可夫链属性不可约时遇到了一些麻烦。

据说不可约意味着随机过程可以“从任何状态转到任何状态”。

但是什么定义了它是否可以从状态到状态,或者不能去?ij


维基百科页面给出了形式化:

状态可以从状态访问(写成 ) ,如果存在整数 st jijinij>0

P(Xnij=j | X0=i)=pij(nij)>0

那么通信是如果ijji

从这些不可约性以某种方式得出。

4个回答

以下是转移矩阵的三个示例,前两个用于可约情况,最后一个用于不可约情况。

P1=(0.50.5000.90.100000.20.8000.70.3)P2=(0.10.10.40.40.50.10.10.30.20.40.20.20001)
对于,当你处于状态 3 或 4 时,你会停留在那里,并且状态 1 和 2 相同。例如,无法从状态 1 到达状态 3 或 4。P1

对于,您可以进入状态 1 到 3 的任何状态,但是一旦您处于状态 4,您将停留在那里。 为此例如,您可以从任何状态开始,但仍可以达到任何其他状态,尽管不一定是一步。P2

P3=(0.50.500000.900000.10000.800.20.700.100.200000.10.900.90000.10)

如果存在一些使得 \ = 即从状态到状态步内的概率为jiijn0

pijn=P(Xn=jX0=i)>0
ijnpijn

如果都成立,则状态通信(通常由)。因此,如果每两个状态都进行通信,则马尔可夫链是不可约的。ijjiijij

是马尔可夫链的两个不同状态。到状态有一定的正概率,无论步数是多少(比如 1、2、3),那么我们说状态可以从状态访问。ijijji

在符号上,我们将其表示为在概率方面,它表示如下:一个状态可以从状态访问,如果存在一个整数使得ijjim>0pij(m)>0

类似地,我们说,如果存在整数使得jin>0pji(n)>0

现在,如果都为真,那么我们说状态相互通信,并且在符号上表示为就概率而言,这意味着存在两个整数使得ijjiijijm>0,n>0pij(m)>0pji(n)>0

如果马尔可夫链中的所有状态都属于一个封闭的通信类,则该链称为不可约马尔可夫链不可约性是链的属性。

在不可约马尔可夫链中,过程可以从任何状态进入任何状态,无论它需要多少步。

一些现有的答案对我来说似乎不正确。

正如 J. Medhi(第 79 页,第 4 版)在Stochastic Processes中所引用的,如果马尔可夫链不包含除状态空间之外的任何适当的“闭合”子集,则它是不可约的。

因此,如果在您的转移概率矩阵中,有一个状态子集使得您无法“到达”(或访问)除这些状态之外的任何其他状态,那么马尔可夫链是可简化的。否则马尔可夫链是不可约的。