机器算法验证 - GMM-HMM 是否等同于富含更多状态的非混合 HMM？ - 吾爱随笔录

GMM-HMM 是否等同于富含更多状态的非混合 HMM？

机器算法验证隐马尔可夫模型高斯混合分布

2022-04-05 09:46:41

我正在尝试对具有 5 个隐藏状态的序列数据进行建模。以每个状态为条件的观测数据是高斯的，除了一个状态，2 个高斯的混合似乎更合适。不幸的是，我正在使用的 R 包（depmix）似乎不支持（不扩展包）将 GMM 作为可能的响应分布。所以我正在考虑添加第 6 个状态的可能性，这样我就可以将这组丰富的状态中的一个解释为观察分布是上述混合中的第一个高斯的状态，而另一个解释为观察分布是第二个的状态高斯。

我错误地认为这两种方法是等价的吗？

2个回答

它并不完全等效：6 态 HMM 可以对 GMM-HMM 可以建模的所有内容进行建模，但反之则不行。

假设您从 GMM-HMM 开始，和而不是的 6 状态 HMM 。 $s_5$ $s_6$ $s_7$ $s_5$

设和是 GMM 的两个分量的先验概率（然后转换为状态和）。 $p_6$ $p_7$ $s_6$ $s_7$

对于GMM-HMM 中从状态到），在 6 状态 HMM 中创建两个转换概率： $s_i$ $s_5$ $t$

$s_i$ 到概率 $s_6$ $t \cdot p_6$
$s_i$ 到概率 $s_7$ $t \cdot p_7$

对于GMM-HMM 中到状态的每次转换），创建两个转换概率，分别从和到，两者具有相同的概率。 $s_5$ $s_i$ $t$ $s_6$ $s_7$ $s_i$ $t$

如果我没记错的话，得到的 6 态 HMM 等价于 GMM-HMM。

但是，相反的方法并不总是有效。想象一下，您正在启动 6 态 HMM。

假设和~~不相等~~的转移概率与和的比率不同（编辑）。您无法将这些信息带入 GMM-HMM。 $s_i \rightarrow s_6$ $s_i \rightarrow s_7$ $s_j \rightarrow s_6$ $s_j \rightarrow s_7$

简而言之，6 态 HMM 应该能够表示 GMM-HMM 所能表示的一切，甚至更多。

不，你这样想没有错。

如果，那么你也可以让独立地说和这是因为请记住时间序列是独立同分布的，因此马尔可夫结构是多余的（但仍然非常好）。 $Y \mid X_1 \sim \alpha f_1(y) + (1-\alpha)f_2(y)$ $X_2 \sim \text{Bernoulli}(\alpha)$

Y ∣ X_{1}, X_{2} = 1 \sim f_{1} (y)

$Y \mid X_1, X_2 = 1 \sim f_1(y)$

Y ∣ X_{1}, X_{2} = 0 \sim f_{2} (y) .

$Y \mid X_1, X_2 = 0 \sim f_2(y).$

f_{Y | X_{1}} (y ∣ x_{1}) = \sum_{i = 1}^{2} f_{Y | X_{1}, X_{2}} (y ∣ x_{1}, x_{2}) f (x_{2}) = α f_{1} (y) + (1 - α) f_{2} (y) .

$f_{Y|X_1}(y \mid x_1) = \sum_{i=1}^2f_{Y|X_1,X_2}(y \mid x_1, x_2) f(x_2) = \alpha f_1(y) + (1-\alpha)f_2(y).$

{X_{2}^{t}}_{t}

$\{X_2^t\}_t$

其它你可能感兴趣的问题

上一篇什么是共轭先验分布？下一篇如何呈现时间序列预测的结果