隐马尔可夫模型与马尔可夫转换模型与状态空间模型......?

机器算法验证 机器学习 自习 隐马尔可夫模型
2022-02-15 00:19:34

对于我的硕士论文,我正在开发一个统计模型,用于根据血清学状态定义的不同状态之间的转换。现在,我不会在这种情况下提供太多细节,因为我的问题更笼统/理论。无论如何,我的直觉是我应该使用隐马尔可夫模型(HMM);我在阅读文献和其他背景研究以制定我的模型时遇到的麻烦是对术语的混淆以及不同类型的隐藏过程模型之间的确切差异。我只是非常模糊地意识到它们的区别(未来的例子)。此外,在我看来,至少从我在文献中看到的情况来看,围绕这种类型的建模建立了一个非常非标准的词汇,

所以,我希望人们可以帮助我为我消除其中一些术语的歧义。我有很多问题,但我猜当一两个问题得到令人满意的回答时,其余的问题就会解开。我希望这不会太啰嗦;如果版主想让我把它分成多个帖子,我会的。无论如何,我已将我的问题以粗体表示,然后是我在文献搜索中发现的问题的详细信息。

所以,没有特别的顺序:

1)究竟什么是“隐藏过程模型”?

我一直认为“隐藏过程模型”是一个总称,可用于描述许多不同类型的统计模型,这些模型本质上都是对“重叠系统”生成的时间序列数据的概率描述,潜在隐藏的线性加法过程”([1])。实际上,[2] 将“隐藏过程模型”定义为“指代状态空间模型或隐藏马尔可夫模型的通用术语”。[1] 似乎推断出隐藏马尔可夫模型是隐藏过程模型的子类型,专门用于推断二元状态;在我看来,基本含义似乎是隐藏过程模型是隐藏马尔可夫模型的推广。我有时会看到“隐藏流程模型”和“

我的这种直觉是否正确?如果没有,是否有人有更清楚地描述这些方法的参考?

2)隐马尔可夫模型和状态空间模型有什么区别?

再次回到[2](如果只是因为论文附有清晰的术语表,而不是因为论文本身似乎特别权威;它只是一个句子定义的方便来源),区别似乎在于隐马尔可夫模型是一种特定类型的状态空间模型,其中状态是马尔可夫的(似乎对马尔可夫过程的顺序没有明确的限制;即一阶,...,第 k 阶)。在这里,状态空间模型被定义为“一个并行运行两个时间序列的模型,一个捕获真实状态(潜在)的动态,另一个包含从这些潜在但可能未知的状态进行的观察。” 如果这些状态也表现出马尔可夫性质,那么它就是一个隐马尔可夫模型。

然而,[3] 将状态空间模型和隐马尔可夫模型之间的区别定义为与潜在状态的特征有关。在这里,隐马尔可夫模型处理离散状态,而状态空间模型处理连续状态;否则,它们在概念上是相同的。

在我看来,这是两个截然不同的定义。在一个之下,隐马尔可夫模型是状态空间模型的一个子类型,而在另一个之下,它们都只是更广泛的隐藏过程模型类别的不同实例。其中哪一个是正确的?我的直觉指向我遵循 [3] 而不是 [2],但我找不到支持这一点的权威来源。

3)什么是“马尔可夫转移模型”?

许多资料中出现的另一个术语是“马尔可夫过渡模型”。我在任何教科书中都找不到这个短语,但它在期刊文章中出现了很多(只需将其插入 Google 即可确认)。我一直无法找到该术语的严格定义(我发现的每篇论文都引用另一篇论文,该论文又引用了另一篇论文,等等,让我陷入了一个无处可去的 PubMed 兔子洞)。我从上下文的印象是,它是一个非常笼统的术语,指的是任何模型,其中推理的对象是遵循马尔可夫过程的状态之间的转换,并且隐马尔可夫模型可以被认为是马尔可夫转换模型的一种特定类型. 然而,[4] 似乎可以互换使用过渡模型、隐马尔可夫模型和几个类似的术语。

另一方面,[5] 对马尔可夫转移模型和隐马尔可夫模型的讨论略有不同。作者指出:“过渡模型提供了一种总结受访者动态的方法,有助于解释更复杂的隐马尔可夫模型的结果”。我不完全理解这句话的意思,也无法在论文的其他地方找到理由。然而,他们似乎暗示马尔可夫转移模型使用时间作为连续变量,而隐藏马尔可夫模型使用时间作为离散变量(他们没有直接这么说;他们说他们使用 R 包“msm”来拟合马尔可夫转移模型,稍后将“msm”描述为与 HMM 的 R 包相比连续处理时间)。

4)其他概念(例如动态贝叶斯网络)适用于何处?

根据维基百科,动态贝叶斯网络是“隐马尔可夫模型和卡尔曼滤波器的泛化”。在其他地方,我看到隐藏马尔可夫模型被定义为动态贝叶斯网络的特例,“世界的整个状态由单个隐藏状态变量表示”(动态贝叶斯系统的定义,及其与 HMM 的关系?) . 我大体上理解这种关系,[6]很好地解释了它。

但是,我很难理解这种关系如何适应更广泛的事物。也就是说,鉴于 HMM 和 DBN 之间的这种关系,状态空间模型和隐藏过程模型如何与两者相关?鉴于隐马尔可夫模型似乎有多种“概括”,所有这些不同类型的方法如何相互关联?


参考:

[1] 汤姆·米切尔、丽贝卡·哈钦森、Indrayana Rustandi。“隐藏过程模型”。2006. CMU-CALD-05-116。卡内基·梅隆大学。

[2] 奥利弗·吉米内斯、让-多米尼克·莱布雷顿、让-米歇尔·盖拉德、雷米·乔凯、罗杰·普拉德尔。“使用隐藏过程动态模型估计人口统计参数”。理论种群生物学。2012. 82(4):307-316。

[3] 芭芭拉·恩格尔哈特。“隐马尔可夫模型和状态空间模型”。STA561:概率机器学习。杜克大学。http://www.genome.duke.edu/labs/engelhardt/courses/scribe/lec_09_25_2013.pdf

[4] 杰伦·K·佛蒙特。“连续时间的多级潜在马尔可夫建模及其在动态情绪评估数据分析中的应用”。社会统计研讨会。2012. 蒂尔堡大学。http://www.lse.ac.uk/statistics/events/SpecialEventsandConferences/LSE2013-Vermunt.pdf

[5] 肯·理查森、大卫·哈特、克里斯蒂·卡特。“了解健康和劳动力转变:将马尔可夫模型应用于 SoFIE 纵向数据”。官方统计研究系列。2012 年。

[6] 佐宾·加赫拉马尼。“隐马尔可夫模型和贝叶斯网络简介”。模式识别与人工智能杂志。2001. 15(1): 9-42.

2个回答

以下内容来自学术百科网站

状态空间模型 (SSM) 是指一类概率图模型 (Koller and Friedman, 2009),它描述了潜在状态变量和观察到的测量值之间的概率依赖性。状态或测量可以是连续的或离散的。“状态空间”一词起源于 1960 年代的控制工程领域(Kalman,1960)。SSM 为分析通过随机过程测量或观察到的确定性和随机动力系统提供了一个通用框架。SSM 框架已成功应用于工程、统计学、计算机科学和经济学,以解决广泛的动力系统问题。用于描述 SSM 的其他术语是隐马尔可夫模型 (HMM) (Rabiner, 1989) 和潜在过程模型。研究得最好的 SSM 是卡尔曼滤波器,

我和 Alan Hawkes 写了很多关于连续时间离散状态的聚合马尔可夫过程。我们的工作一直是关于解释单个离子通道分子的观察结果的问题,包括对错过的短事件的精确处理。类似的理论也适用于可靠性理论。它很可能适用于其他问题。参考http://www.onemol.org.uk/?page_id=175