将 P(D|H) 称为贝叶斯推理中的“可能性”是否准确?

机器算法验证 贝叶斯 可能性
2022-03-29 05:24:22

在贝叶斯推理中,术语有时称为似然性,如下面的Olshausen (2004)示例所示:P(D|H)

P(H|D)=P(D|H)P(H)P(D)

术语称为似然函数,它评估由假设产生的观察数据的概率......P(D|H)

然而,Etz (2018)在他对可能性一词的介绍性论文中指出:

概率和可能性之间的一个关键区别在于对什么是固定的和什么可以变化的解释。在条件概率的情况下,假设是固定的,数据可以自由变化。然而,可能性恰恰相反。假设的可能性取决于数据,就好像它们是固定的,而假设可以变化一样。区别很微妙,因此值得重复:对于条件概率,假设被视为给定,数据可以自由变化。对于可能性,数据被视为给定的,并且假设会有所不同。P(D|H)L(H)

换句话说,Etz (2018) 使用作为与可能性“相反”的条件概率的示例。假设这是正确的,为什么在贝叶斯推理中仍然经常将这是不正确的吗?P(D|H)P(D|H)

2个回答

请注意,由 Etz 定义的似然函数仍然由相同的条件概率给出。即: 当我们将其写为(或或类似的)时,我们强调我们正在评估作为的函数(固定),而不是的函数(固定)。

L(H)=p(D|H)
L(H)L(H)p(D|H)HDDH

然而,这并不意味着说是可能性是不正确的,在我们确实将其评估为的某个给定值为条件发生这种情况的典型情况是应用贝叶斯规则(如 Olshausen 的示例)来获得后验。根据定义,该场景的是固定的,因此它满足将称为似然性(或似然函数)的标准。p(D|H)HDDp(D|H)

如果您在“向前”方向上使用它,即不固定称为可能性只是不正确的(在 Etz 和许多其他人,包括我自己的观点) 。p(D|H)D

当我们这样做时,使用“似然”一词的一个论据是似然函数(通常)不会积分为 1。也就是说,因此,函数的输出显然不是适当的概率(或概率密度)。相反,我们确实有(在这里使用混淆),这说明在这种情况下,我们正在处理概率(或概率密度) . 可以看出,Olshausen 的用法是符合这个原则的:他的可能性也不(必然)积分为 1。L(H=h)dh=p(D|H=h)dh1p(D=x|H)dx=1xd

这似乎主要是惯例问题。让我说一下我的,并澄清命名法之外的实际重要属性。 请注意,这里我们考虑观察到的数据。这既不是数据(因为数据被固定为观察到的数据)或参数的分布,

Likelihood=L(θ)=P(Observed data|θ)
θ
Sampling distribution=P(data|θ)
这是数据的分布,可用于绘制伪数据。这通常仅用于频率推理(违反似然原理),但可以在贝叶斯推理中使用:近似贝叶斯计算,基于模拟的校准,用于计算例如先验预测分布,最后是客观贝叶斯先验。但从广义上讲,由于我们仅以贝叶斯分析中的观察数据为条件,因此它遵循似然原则并且只需要似然性。