概率图形模型属于哪个部落?

数据挖掘 机器学习 贝叶斯 图形模型
2021-09-20 17:17:05

Pedro Domingos 在 《The Master Algorithm》中列出了机器学习算法的五个部落:

  • 象征主义者
  • 联结主义者
  • 进化论者
  • 贝叶斯
  • 类比器

概率图模型属于哪一类?

来自维基百科(https://en.wikipedia.org/wiki/Graphical_model):

图形模型或概率图形模型 (PGM) 是一种概率模型,其中图形表示随机变量之间的条件依赖结构。它们常用于概率论、统计学(尤其是贝叶斯统计)和机器学习中。

在那种情况下,它会是“贝叶斯”吗?条件随机场这样的东西呢?这也是贝叶斯吗?

3个回答

概率图形模型 (PGM) 是:

  • 联结主义者:RBM 是 PGM 和神经网络(来源
  • 贝叶斯:贝叶斯网络是贝叶斯(维基百科文章
  • 象征主义者:马尔可夫逻辑网络(来源
  • 类比器和进化器:根据 Domingos的说法,它们也在马尔可夫逻辑网络中。

所以答案是,你不能简单地将概率图形模型这样的通用技术归类到其中的一个类别中。

另请参阅:“机器学习的五个部落(以及您可以从中学到什么)”,Pedro Domingos

只有多明戈斯肯定知道,因为他发明了这种分类法,但我猜它会属于“连接主义者”(他将其与神经网络联系起来),因为图表都是关于连接(随机变量之间)的。贝叶斯将是我的第二选择。CRF 本身不是贝叶斯(您不使用模型参数的先验或后验),但它们可以扩充为一个.

基于这篇论文(Qi、Szummer 和 Minka。2005。贝叶斯条件随机场):

在本文中,我们提出了贝叶斯条件随机场 (BCRF),这是一种新的贝叶斯方法,用于条件随机场的训练和推理

我们可以看到原始的 CRF 模型可能不是贝叶斯模型,因为本文的贡献是 CRF 模型的一种新颖的贝叶斯方法。

基于这本书的摘录

机器学习的五个部落中的每一个都有自己的主算法,这是一种通用学习器,原则上您可以使用它从任何领域的数据中发现知识。符号论者的主要算法是逆推演,联结论者是反向传播,进化论者是遗传编程,贝叶斯论者是贝叶斯推理,类比论者是支持向量机。

似乎可以将 CRF 放入连接主义者(因为 CRF 计算基于梯度优化函数)或类比器(因为与支持向量相比,CRF 使用由 softmax 计算的“软示例”来区分好输出和坏输出in (structured) SVM 通过 max 计算。例如,本文表明 CRF 和 SSVM 的差异是成本函数的加法和从 softmax 到 max 的变化)