具有伽马分布等待时间的有限状态机

机器算法验证 密度函数 随机过程 马尔科夫过程 排队 间隔时间
2022-04-13 15:39:48

我有一个带有正负输入的状态机。正输入之间的时间遵循伽马分布(),负输入之间的时间遵循不同的伽马分布( )。因此,在某个时间间隔内接收个正负输入的概率对于所有都是完全已知的。状态机如下图:X+Γ(k+,θ+)XΓ(k,θ)KK

具有四种状态的状态机。

蓝色框代表机器中可实现的状态,实线和虚线分别代表正输入和负输入。因此,例如,如果机器处于状态 3 并且有正输入到达,则机器产生正输出并重置到状态 2。如果机器随后接收到负输入,它会移动到状态 1 而不产生任何输出。

是否有可能找到正输出的 PMF?也就是说,个正输出的概率是多少?KK

1个回答

请注意,这不是试图完全回答问题,而是展示如何克服可能不适用的特殊情况缺乏马尔可夫属性 - 一种太长而无法发表评论的情况。

不幸的是,正如您所意识到的,这不是马尔可夫过程,而是半马尔可夫过程。如果您 a) 具有整数,并且 b) 愿意扩展您的状态空间,则可以使用 Gamma 分布成为 Erlang 分布并且 Erlang 变量是 iid 之和的事实将其转换为马尔可夫过程指数变量具有与原始 Erlang 变量相同的比例参数。k+k

我们可以扩展状态空间以包含两个新变量,“+ 状态”和“- 状态”,它们记录了我们在生成下一个正或负到达时“走了多远”。具体而言,假设下一次正向到达发生在五个连续指数到达中的第五次发生时,因此“+ 状态”记录自上次正向输​​入以来发生了多少次正向到达。“+ state”值的序列是状态只能转换到,状态只能转换到,依此类推。k+=5{0,1,2,3,4,0,1,...}001440

您的状态空间变为记录进程所在的盒子,发生了多少正到达模数,以及发生了多少个负数到达模数[BoxID,+,]k+k

我们现在有两个随机变量——直到下一个“+ 状态”转换的时间和直到下一个“-状态”转换的时间——它们都是指数分布的。由于两个独立指数变量的最小值本身是指数的,因此直到下一次转换(任何类型)的时间都是指数的,速率等于两个分量速率的总和(取决于 Gamma 分布的参数化方式)。下一个转换是“+ 状态”转换的概率只是,或θ++θ1/θ++1/θθ+/(θ++θ)1/θ+/(1/θ++1/θ),再次取决于您的 Gamma 分布是如何参数化的。鉴于到下一次转换的时间现在具有指数分布,您有一个 CTMC(连续时间马尔可夫链),可以用标准方式进行分析。

举一个具体的例子,假设正到达的发生率为单位时间,而负到达的发生率为单位时间。直到下一次转换的时间是指数的,速率为单位时间,转换由正到达触发的概率是0.5/0.25/0.75/0.5/(0.5+0.25)=2/3

现在你有一个大大扩大的状态空间,初始图中的每个盒子都有个内部状态,但至少你有马尔可夫属性,并且可以找到处于盒子 3 中的稳态概率和具有 "+ state" =的状态,即您可以从中经历导致正输出的转换的状态之一。将这些稳态概率与转换矩阵和转换之间的平均时间相结合,可以得出看到正输出的长期平均率。您还可以使用稳态概率、转换矩阵以及转换之间的时间具有已知速率的指数分布这一事实来计算所需的概率分布。k+kk+1