什么是概率推理?

机器算法验证 机器学习 可能性 推理 图形模型
2022-03-25 04:00:49

我正在阅读 Chris Bishop 的模式识别和机器学习教科书。我多次遇到概率推理这个术语。我有一些问题。

  1. 概率推理是否仅适用于图形建模上下文?

  2. 传统统计推断(p 值、置信区间、贝叶斯因子等)和概率推断之间有什么区别?

  3. 这是一个特定于 CS 社区的术语,还是在统计社区中也广泛使用?

2个回答

概率推理使用概率模型,即用概率论和概率分布来描述统计问题的模型。虽然统计学大量使用概率论,但你不能说这两个学科是一回事(查看此线程中的讨论)。请注意,许多统计和机器学习方法并未明确使用概率论来定义问题,例如许多聚类算法或通过最小化某些损失函数来工作的分类方法等。但区别并不那么简单,以近似贝叶斯计算为例- 从理论上讲,它基于贝叶斯(概率!)推理,但它处理我们没有似然函数的情况,因此我们使用距离测量来代替它。

我将根据我在大学学习概率图形模型 (PGM) 的经验以及我的 PGM 老师定义概率推理的方式来回答您的问题。知道这门课的材料是基于 [1] 的,我想你可以在本书中找到更准确的答案。

回答 2: 概率推理是一种统计推理。从 [2] 和 [3] 中,统计推断提出关于总体的统计命题,包括点估计区间估计假设拒绝聚类分类“概率推理”被引入并在 PGM 上下文中粗略定义为概率函数的任何边缘化任务,无论是边际概率计算还是找到最可能的结果(例如分类)。因此,它进入了统计推断的定义,即对总体的潜在概率分布提出一个命题。

为了在数学上说明 PGM 上下文中的一些边缘化任务,让是一组随机变量。对于给定的贝叶斯网络或带有的马尔可夫网络,则以下例程被视为概率推断X={X1,,Xn}(G,Pθ)(H,Pθ)Pθ

  • 计算边际或条件概率:对于,我们要回答: E,XX

    Pθ(X=xE=e)= ?.

  • 最可能的实现:对于,我们要回答: E,XX

    argminxPθ(X=xE=e)= ?.

回答 1 和 3:这是我第一次看到这个术语。该术语确实有意义,因为您对与概率直接相关的问题进行推断。我无法回答它是仅用于 CS 还是 PGM 上下文中。

[1] 科勒、达芙妮和尼尔弗里德曼。2009. 概率图形模型:原理和技术。麻省理工学院出版社。
[2] https://en.wikipedia.org/wiki/Statistical_inference
[3] https://encyclopediaofmath.org/wiki/Statistical_inference