什么时候可能性也是概率分布?

机器算法验证 可能性 分布 可能性
2022-03-24 19:36:55

在什么条件下似然也是概率分布?

2个回答

似然度是一个二变量函数L(θ,x).

对于固定θ, 这个函数可以看作是x,这是一个分布:x对于这个固定θ.

对于固定x, 这个函数可以看作是θ,这不应该被认为是一种分布。大多数情况下,它不是正式的分布,因为它不等于 1。有时它可能正式地是分布并且和为 1(见西安回答),但它可以被认为是“意外”。

实际上,当我们使用“可能性”这个词时,我们通常暗示我们将其视为θ对于固定x,因此说可能性不是分布是有道理的。


贝叶斯推理是一种有用的方法,可以理解尽管它不是分布,但它与分布相关。在贝叶斯推理中,分布θ对于固定x,称为后验,是:

p(θ|x)=p(θ)L(θ,x)c(x)

在哪里:

  • p(θ)是先验的
  • L(θ,x)是可能性
  • c(x)是一个归一化常数(这不是很重要)

可能性可以被认为是分布θ对于固定x(实际上与它成正比)对于先验一致(常数)的特殊情况。通常,可能性不是后验,而是您将先验乘以得到后验的函数。它在定义分布(后验)而不是分布方面起着关键作用。

关于可能性和概率密度之间的一般和一般区别,请检查CV 上的这个问题,因为它有相当详细和有用的答案。加上有关 mathoverflow 的另一个问题

对于可能性(θ|x) 要成为概率分布,或者更准确地说是概率分布的密度,它需要满足

Θ(θ|x)dθ=1xX(1)
在满足之上
Θ(θ|x)dx=1θΘ(2)
这是一种情况,当xθ在位置族中可以互换
(θ|x)=f(xθ)x,θX=Θ
但不是规模家庭
(θ|x)=g(x/θ)/θx,θ>0
由于归一化因子1/θ. 然而,这是我回答的核心,即这个问题没有一般意义,变量从(x,θ)
(y,ξ)=(logx,logθ)
将比例族转换为属性所持有的位置族。

这突出了属性(1)在很大程度上取决于参数化选择的主要问题 θ的分布X:可能性通过重新参数化是不变的,因此不像概率密度那样包括用于变量变化的雅可比行列式。因此,如果 (1) 对参数化成立θ它不适用于另一个参数化ξ=h(θ).

因此,一个新的问题是是否可能存在发生(1)的参数化,但这不太可能,特别是在考虑到(θ|x)关于样本的大小x. 对于指数族,这基本上对应于等于其拉普拉斯变换的函数的存在。虽然这给问题的措辞带来了另一个困难,但没有具体说明在XΘ:如果这些是免费的(并且它们应该是Θ在贝叶斯设置之外),那么有更多的机会得到肯定的答案。