取决于当前状态和过去状态的马尔可夫过程

机器算法验证 马尔科夫过程
2022-02-09 14:08:57

我只是希望有人确认我的理解,或者如果我遗漏了什么。

马尔可夫过程的定义表明下一步仅取决于当前状态,而不取决于过去的状态。所以,假设我们有一个 a,b,c,d 的状态空间,我们从 a->b->c->d 开始。这意味着向 d 的过渡只能取决于我们在 c 中的事实。

但是,您真的可以让模型更复杂并“绕过”这个限制吗?换句话说,如果你的状态空间现在是 aa,ab,ac,ad,ba,bb,bc,bd,ca,cb,cc,cd,da,db,dc,dd,这意味着你的新状态空间变成先前状态与当前状态相结合,则上述转换将是 *a->ab->bc->cd ,因此到 cd 的转换(在以前的模型中相当于 d)现在“依赖于”一个状态,如果建模不同,则为先前状态(我在下面将其称为子状态)。

我是否正确,因为可以使其“依赖于先前的状态(子状态)”(我知道从技术上讲它不在新模型中,因为子状态不再是真实状态)通过扩展来保持马尔可夫属性像我一样的状态空间?因此,实际上可以创建一个可能依赖于任意数量的先前子状态的马尔可夫过程。

2个回答

从技术上讲,您描述的两个过程都是马尔可夫链。区别在于第一个是一阶马尔可夫链,而第二个是二阶马尔可夫链。是的,您可以通过适当更改状态空间定义将二阶马尔可夫链转换为一阶马尔可夫链。让我通过一个例子来解释。

假设我们想将天气建模为一个随机过程,并假设在任何给定的一天,天气可能是下雨、晴天或多云。Wt是任何特定日子的天气,让我们用符号表示可能的状态R(下雨天),S对于(晴天)和C(多云)。

一阶马尔可夫链

P(Wt=w|Wt1,Wt2,Wt3..)=P(Wt=w|Wt1)

二阶马尔可夫链

P(Wt=w|Wt1,Wt2,Wt3..)=P(Wt=w|Wt1,Wt2)

通过重新定义状态空间,可以将二阶马尔可夫链转换为一阶马尔可夫链,如下所示。定义:

Zt1,t作为连续两天的天气。

换句话说,状态空间可以采用以下值之一:RR,RC,RS,CR,CC,CS,SR,SCSS. 有了这个重新定义的状态空间,我们有以下内容:

P(Zt1,t=zt1,t|Zt2,t1,Zt3,t2,..)=P(Zt1,t=zt1,t|Zt2,t1)

以上显然是重新定义的状态空间上的一阶马尔可夫链。与二阶马尔可夫链的一个不同之处在于,您重新定义的马尔可夫链需要指定两个初始起始状态,即必须在对第 1 天和第 2 天的天气进行一些假设的情况下启动该链。

马尔可夫过程的定义表明下一步仅取决于当前状态,而不取决于过去的状态。

那是马尔可夫属性,它定义了一个一阶MC,它在数学上非常容易处理并且很容易呈现/解释。当然你可以有nthMC 阶(下一个状态取决于当前和过去n1状态)以及可变顺序 MC(当内存的长度固定但取决于先前的状态时)。

nth阶 MC 保留了静止状态分布的显式公式,但正如您所指出的,状态矩阵的大小随着n这样一个不受限制的nth订购 MC 与k国家有O(k2n)进入其状态矩阵。

您可能想看看最近的论文,例如高阶多元马尔可夫链及其应用,因为该领域正在快速发展。