马尔可夫假设对状态序列的历史有何看法?

人工智能 强化学习 数学 定义 诺维格罗素 马尔可夫属性
2021-11-01 15:45:32

马尔可夫假设是说下一个状态的条件概率仅取决于当前状态还是说条件概率取决于固定的有限数量的先前状态?

据我从相关的维基百科文章中了解到,下一个状态的概率s出现仅取决于当前状态s.

然而,在罗素和诺维格的《人工智能:一种现代方法》一书中,第 568 页,他们说:“马尔可夫假设——当前状态仅取决于有限固定数量的先前状态”。

对我来说,第二个陈述似乎与第一个相矛盾,因为它可能意味着一个国家可以依赖于国家的历史,只要数量是固定的有限。例如,当前状态取决于上一个状态和上一个状态之前的状态,即 2 个连续的先前状态(有限数量的状态)。

马尔可夫假设和马尔可夫性质相同吗?

1个回答

如果以现在和过去状态为条件的未来状态的概率分布仅取决于当前状态,或者更正式地说,以下等式成立,则随机过程具有马尔可夫性质。

p(st+1st,st1:1)=p(st+1st),t

隐马尔可夫模型 (HMM)是通常假设马尔可夫属性成立的模型的一个示例换句话说,马尔可夫假设是在 HMM 的情况下做出的。

还有变阶(或更高阶)马尔可夫模型,其中未来状态可能取决于先前的状态n州或更正式地说,以下等式成立。

p(st+1st,st1:1)=p(st+1st:tn),t

在这种情况下,隐马尔可夫模型称为一马尔可夫模型(n=0)。因此,也可以有二阶(n=1), 三阶 (n=2) 等,马尔可夫模型。事实上,还有高阶隐马尔可夫模型

总而言之,表达式马尔可夫属性马尔可夫假设并不完全可以互换。马尔可夫属性是可以假定随机过程具有的属性。在这种情况下,马尔可夫假设成立。表达马尔可夫属性通常是指一阶马尔可夫属性,但它更一般地可以指代更高阶的马尔可夫属性。