具有吸收状态的马尔可夫过程中的集总

机器算法验证 造型 渐近的 马尔科夫过程
2022-04-06 14:57:51

我有一个带有时间相关转换矩阵的四状态离散时间马尔可夫过程,这样在给定时间 T 之后,矩阵变得恒定。这个想法是程序中的人以各种方式离开程序。每个人都从状态 1 开始,状态 2、3 和 4 都在吸收,但状态 4 代表了“迷失在系统中”的一小部分人——换句话说,状态 4 代表我们对发生在人们身上的事情的无知,而不是一个真正的结果。

我想使用集总将状态 4 中的那些与状态 1 中的那些放在一起,并将其作为三态系统运行,并将其与将其作为四态系统运行然后分配渐近的那些天真的方法进行比较在状态 4 中根据它们的相对比例分为状态 2 和状态 3。(换句话说,状态 4 中的 p_2/(p_2 + p_3) 在系统运行到无限时间后进入状态 2,状态 3 类似)

从一些粗略的涂鸦来看,这两种方法似乎不会给出相同的结果,因此最好了解所涉及的错误。为此,这是我的问题:

我能否指出关于马尔可夫链(或相关)中的集总的文献,这些文献将适用——即使是粗略的——在这个例子中?或者其他一些关于如何解决这个问题的建议。

1个回答

如果转移矩阵是常数,那么您的两种方法将产生相同的结果。所以这个问题在非常量情况下很有趣。

将状态 4 重新分配到状态 2 和 3 是不合适的。考虑从时间1到时间T你的矩阵是11有概率0.5,12有概率0.2514有概率0.25, 然后经过一段时间T你的矩阵是13有概率1. 明确假设状态4会分发,因为在这种情况下,inf 时间稳定状态会很奇怪。

另一方面,简单的集总状态14一起,相当于说在时间步失去学徒的踪迹t与假设他们留在程序中相同;也可能不是你想要的。

你可能想说的是“如果我们在某个时候失去了一个学生的踪迹t那么那个学生的概率与当时任何其他学生的概率相同t继续、退出或完成程序。”要捕捉到这一点,您可以简单地消除到状态 4 的转换并重新归一化结果矩阵(即pij=pij1p14) 并照常进行。