后验和似然之间的概念区别是什么?

机器算法验证 贝叶斯 可能性 后部 直觉 定义
2022-03-16 03:34:12

我很难从概念上辨别这两个概念。我知道他们的正式关系,礼仪等等,但我就是无法理解他们的“意思”,如果这有道理的话。我已经检查了一些答案,例如这个,但我认为这些都不能解决我的问题。

所以,给定一些数据和参数Dθ

p(θ|D)=p(D|θ)p(θ)p(D)

我了解到后验是“的统计参数的概率”。而可能性是“产生的可能性”。在我的脑海里,这两个概念是完全一样的。那么我该如何区分它们呢?θDθD

2个回答

首先,为了得到 \theta 的后验分布 \必须是(建模为)一个随机变量。对于不必要的似然函数。所以这比评论(@gazza89)说的更深刻θθ

可能性是一个 pdf,它只是对所有可能的数据结果进行了归一化,而后验是一个 pdf,但是它对所有可能的参数值进行了归一化

即使可能性已经(或也可以标准化,但并不总是可能)整合为一个,这也不足以使其成为 pdf(概率密度函数)。pdf 必须是某个随机变量的 pdf,如果没有被建模为随机变量,那么它不能有 pdf,句点。θ

所以从概念上讲,它是非常明确的:

  • 如果是一个随机变量(可能在某些贝叶斯模型中),那么它可以有一个后验,并且它可以有一个似然函数。即使这两个函数在数值上应该相等(例如,如果先验是一致的),它们也是不同的数学实体。θ

  • 如果不是(建模为)随机变量,则不会出现问题,则只能定义似然函数。θ

你说

而可能性是“θ 产生 D 的可能性”

但这不是一个好的思考方式。如果数据 是根据θ的值生成的,可能性会告诉您数据的概率(在模型下......)涉及概率θ” 。为此,您需要一些额外的假设,即贝叶斯概率模型。

为了更好地理解可能性,请以通俗的方式查看最大似然估计 (MLE) 的所有答案。

简单地说,可能性是“产生的可能性”,而后验本质上是“产生的可能性”进一步乘以的先验分布θDθDθ

如果先验分布是平坦的(或无信息的),则似然与后验完全相同。