具有伽马分布等待时间的有限状态机
请注意,这不是试图完全回答问题,而是展示如何克服可能不适用的特殊情况缺乏马尔可夫属性 - 一种太长而无法发表评论的情况。
不幸的是,正如您所意识到的,这不是马尔可夫过程,而是半马尔可夫过程。如果您 a) 具有整数和,并且 b) 愿意扩展您的状态空间,则可以使用 Gamma 分布成为 Erlang 分布并且 Erlang 变量是 iid 之和的事实将其转换为马尔可夫过程指数变量具有与原始 Erlang 变量相同的比例参数。
我们可以扩展状态空间以包含两个新变量,“+ 状态”和“- 状态”,它们记录了我们在生成下一个正或负到达时“走了多远”。具体而言,假设;下一次正向到达发生在五个连续指数到达中的第五次发生时,因此“+ 状态”记录自上次正向输入以来发生了多少次正向到达。“+ state”值的序列是;状态只能转换到或,状态只能转换到或,依此类推。
您的状态空间变为记录进程所在的盒子,发生了多少正到达模数,以及发生了多少个负数到达模数。
我们现在有两个随机变量——直到下一个“+ 状态”转换的时间和直到下一个“-状态”转换的时间——它们都是指数分布的。由于两个独立指数变量的最小值本身是指数的,因此直到下一次转换(任何类型)的时间都是指数的,速率等于两个分量速率的总和(或取决于 Gamma 分布的参数化方式)。下一个转换是“+ 状态”转换的概率只是,或,再次取决于您的 Gamma 分布是如何参数化的。鉴于到下一次转换的时间现在具有指数分布,您有一个 CTMC(连续时间马尔可夫链),可以用标准方式进行分析。
举一个具体的例子,假设正到达的发生率为单位时间,而负到达的发生率为单位时间。直到下一次转换的时间是指数的,速率为单位时间,转换由正到达触发的概率是。
现在你有一个大大扩大的状态空间,初始图中的每个盒子都有个内部状态,但至少你有马尔可夫属性,并且可以找到处于盒子 3 中的稳态概率和具有 "+ state" =的状态,即您可以从中经历导致正输出的转换的状态之一。将这些稳态概率与转换矩阵和转换之间的平均时间相结合,可以得出看到正输出的长期平均率。您还可以使用稳态概率、转换矩阵以及转换之间的时间具有已知速率的指数分布这一事实来计算所需的概率分布。