我在理解马尔可夫链属性不可约时遇到了一些麻烦。
据说不可约意味着随机过程可以“从任何状态转到任何状态”。
但是什么定义了它是否可以从状态到状态,或者不能去?
维基百科页面给出了形式化:
状态可以从状态访问(写成 ) ,如果存在整数 st
那么通信是如果和。
从这些不可约性以某种方式得出。
我在理解马尔可夫链属性不可约时遇到了一些麻烦。
据说不可约意味着随机过程可以“从任何状态转到任何状态”。
但是什么定义了它是否可以从状态到状态,或者不能去?
维基百科页面给出了形式化:
状态可以从状态访问(写成 ) ,如果存在整数 st
那么通信是如果和。
从这些不可约性以某种方式得出。
以下是转移矩阵的三个示例,前两个用于可约情况,最后一个用于不可约情况。
对于,您可以进入状态 1 到 3 的任何状态,但是一旦您处于状态 4,您将停留在那里。 为此例如,您可以从任何状态开始,但仍可以达到任何其他状态,尽管不一定是一步。
如果存在一些使得 \ = 即从状态到状态在步内的概率为。
如果和都成立,则状态和通信(通常由)。因此,如果每两个状态都进行通信,则马尔可夫链是不可约的。
设和是马尔可夫链的两个不同状态。到状态有一定的正概率,无论步数是多少(比如 1、2、3),那么我们说状态可以从状态访问。
在符号上,我们将其表示为。在概率方面,它表示如下:一个状态可以从状态访问,如果存在一个整数使得。
类似地,我们说,如果存在整数使得。
现在,如果和 都为真,那么我们说状态和相互通信,并且在符号上表示为。就概率而言,这意味着存在两个整数使得和。
如果马尔可夫链中的所有状态都属于一个封闭的通信类,则该链称为不可约马尔可夫链。不可约性是链的属性。
在不可约马尔可夫链中,过程可以从任何状态进入任何状态,无论它需要多少步。
一些现有的答案对我来说似乎不正确。
正如 J. Medhi(第 79 页,第 4 版)在Stochastic Processes中所引用的,如果马尔可夫链不包含除状态空间之外的任何适当的“闭合”子集,则它是不可约的。
因此,如果在您的转移概率矩阵中,有一个状态子集使得您无法“到达”(或访问)除这些状态之外的任何其他状态,那么马尔可夫链是可简化的。否则马尔可夫链是不可约的。