具有条件转移概率的马尔可夫模型

机器算法验证 马尔科夫过程 条件概率
2022-03-05 18:56:17

首先,让我先承认,我并不像我希望的那样精通统计学和数学。有人可能会说,知识刚好够危险。:DI 如果我没有正确使用术语,我深表歉意。

我正在尝试对系统从一种状态转换到另一种状态的概率进行建模。一个简单的马尔可夫模型是一个好的开始。(状态集、初始状态概率集、状态间转移概率集。)

但是,我正在建模的系统比这更复杂。导致 T 时刻某个状态的转移概率肯定取决于 T-1 时刻的状态以外的变量。例如,当阳光普照时,S1 -> S2 的转换概率可能为 40%,但在下雨时,S1 -> S2 的概率变为 80%。

来自评论者问题的附加信息:

  1. 状态是可观察的。
  2. 只会有5-10个州。
  3. 目前我们要研究的协变量大约有 30 个,尽管最终模型肯定会比这更少。
  4. 有些协变量是连续的,有些是离散的。

三个问题:

  1. 如何将条件转移概率合并到我的马尔可夫模型中?
  2. 或者,我应该完全从另一个角度来处理这个问题吗?
  3. 另外,我应该在线搜索哪些关键字/概念以了解更多信息?

我已经在网上搜索诸如“具有条件转移概率的马尔可夫模型”之类的东西,但到目前为止,还没有什么东西打我的脸说:“这是你的答案,笨蛋!”

感谢您的帮助和耐心。

3个回答

你总是可以有一个二阶或更高阶的马尔可夫链。在这种情况下,您的模型已准备就绪,其中包含所有概率转换信息。您可以查看动态贝叶斯网络,它是机器学习中经常使用的马尔可夫链的图形模型泛化。

我相信您正在寻找的是Maxent Markov Models

或者您可以使用 Maxent Markov 模型的概括(如果我理解正确的话),称为Conditional Random Fields

我问自己同样的问题,如果您真的只需要根据的状态和协变量对结果进行建模,您可能会发现 R 中的msm 包很有帮助。T1

这个包似乎非常适合模拟协变量对分类结果之间的转换的影响。如果您确实需要更高阶的链,这将无济于事,但根据您最初的问题,情况似乎并非如此。