为什么不使用贝叶斯定理的形式p ( θ | x ) =L ( θ | x ) p ( θ )p ( x )p(θ|x)=L(θ|x)p(θ)p(x)?

机器算法验证 分布 贝叶斯 条件概率 可能性
2022-03-28 08:27:40

在连续情况下,关于贝叶斯公式的一些歧义有很多问题(像这样)。

p(θ|x)=p(x|θ)p(θ)p(x)

通常,混淆是因为条件分布的定义被解释为给定固定的函数。f(variable|parameter)fvariableparameter

除此之外,还有一个等价原则,表明似然性可以写成:

L(θ|x)=p(x|θ)

那么为什么不对以下形式的分布使用贝叶斯规则:

p(θ|x)=L(θ|x)p(θ)p(x)

强调我们正在处理定观察数据的函数 ,并且相应的术语是可能性(至少,从开始)?θxL

这是一个传统问题,还是在这种做法中有更基本的东西?

2个回答

似然函数仅与采样密度成正比,因为对于某些常数(尽管您应该注意可能性是参数的函数,而不是数据的函数)。如果您想在贝叶斯定理的表达式中使用它,那么您需要在分母中包含相同的缩放常数:Lx(θ)=k(x)p(x|θ)k(x)>0

p(θ|x)=Lx(θ)p(θ)k(x)p(x)=Lx(θ)p(θ)Lx(θ)p(θ) dθLx(θ)p(θ).

如果您改为使用您提出的公式,那么您最终将得到一个后验密度的,但它可能不会整合到一个(因此它通常不是密度)。

贝叶斯定理中有两个基本的概率结果。一种是重写联合概率密度函数的方法:

p(x,y)=p(x|y)p(y).

另一个是计算条件概率密度函数的公式:

p(y|x)=p(x,y)p(x).

贝叶斯定理只是将这两件事缝合在一起:

p(θ|x)=p(x,θ)p(x)=p(x|θ)p(θ)p(x)

所以这两个数据x和参数θ是具有联合 pdf 的随机变量

p(x,θ)=p(x|θ)p(θ),
这就是贝叶斯定理的分子中出现的内容。所以把可能性写成条件概率密度而不是函数L的参数清楚地表明了基本的概率在起作用。

综上所述,您会看到人们使用其中一个,例如herehere