马尔可夫链和马尔可夫过程有什么区别?

机器算法验证 术语 随机过程 马尔科夫过程
2022-01-18 07:35:51

马尔可夫链和马尔可夫过程有什么区别?


我正在阅读相互矛盾的信息:有时定义是基于状态空间是离散的还是连续的,有时是基于时间是离散的还是连续的。

本文档的幻灯片 20

如果状态空间是离散的,即有限或可数空间是离散的,即是有限或可数的,则马尔可夫过程称为马尔可夫链。

http://www.win.tue.nl/~iadan/que/h3.pdf

马尔可夫过程是马尔可夫链的连续时间版本。

或者可以将马尔科夫链和马尔科夫过程同义地使用,精确确定时间参数是连续的还是离散的,以及状态空间是连续的还是离散的。


2017-03-04 更新:在https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably上提出了同样的问题

2个回答

从 Meyn 和 Tweedie 的“马尔可夫链和随机稳定性”第一版的序言:

我们在这里处理马尔可夫链。尽管 Doob 和 Chung [99,71] 最初尝试将此术语保留给在具有离散和连续时间参数的可数空间上演化的系统,但使用似乎已经决定(参见例如 Revuz [326])马尔可夫链进入离散时间,在他们想要的任何空间上;这就是我们在这里描述的系统。

编辑:我的参考文献引用的参考文献分别是:

99:JL 杜布 随机过程约翰威利父子,纽约 1953

71:吉隆坡钟 具有平稳转移概率的马尔可夫链Springer-Verlag,柏林,第二版,1967 年。

326:D.雷夫兹。马尔可夫链北荷兰,阿姆斯特丹,第二版,1984 年。

随机过程分类的一种方法是基于time parameter离散连续)和state space离散连续)的性质。这导致了四类随机过程。

如果 的state space随机 过程 是离散的 , 无论time parameter离散的还是连续的 , 该 过程 通常 称为.

如果一个随机过程具有马尔可夫性质而与时间参数(离散或连续)和状态空间(离散或连续)的性质无关,则称为马尔可夫过程因此,我们将有四类马尔可夫过程。

具有马尔可夫性质continuous time parameterdiscrete state space随机过程称为连续参数马尔可夫链(CTMC)

一个具有马尔可夫性质discrete time parameterdiscrete state space随机过程称为离散参数马尔可夫链(DTMC)

同样,我们可以有其他两个马尔可夫过程。

2017-03-09 更新:

Every independent increment process is a Markov process.

Poisson process具有独立增量属性是Markov process具有时间参数连续和状态空间离散的。

Brownian motion process具有独立增量性质是一个Markov process具有连续时间参数和连续状态空间的过程。