如何严格定义可能性?

机器算法验证 数理统计 可能性 似然比
2022-01-21 01:00:12

可能性可以通过多种方式定义,例如:

  • 函数映射LΘ×X(θ,x)L(θx)L:Θ×XR

  • 随机函数L(X)

  • 我们也可以认为可能性只是“观察到的”可能性L(xobs)

  • 在实践中,可能性将的信息仅带到乘法常数,因此我们可以将可能性视为函数的等价类而不是函数θ

考虑参数化变化时会出现另一个问题:如果是我们通常用上的似然性,这不是对先前函数但在这是一种滥用但有用的符号,如果不加以强调,可能会给初学者带来困难。ϕ=θ2L(ϕx)ϕL(x)θ2ϕ

你最喜欢的可能性的严格定义是什么?

另外你怎么称呼我通常会说“上的可能性”。L(θx)θx

编辑:鉴于下面的一些评论,我意识到我应该明确上下文。我考虑一个由参数族给出的统计模型,其中每个在观察空间上定义。因此我们定义并且问题是“什么是?” (问题不是关于可能性的一般定义){f(θ),θΘ}f(θ)XL(θx)=f(xθ)L

3个回答

您的第三项是我见过的最常用的严格定义。

其他的也很有趣(+1)。特别是第一个很有吸引力,由于样本量尚未(尚未)定义,因此很难定义“来自”集合。

对我来说,可能性的基本直觉是它是模型 + 其参数的函数,而不是随机变量的函数(这也是教学目的的重要一点)。所以我会坚持第三个定义。

符号滥用的根源在于可能性的“来自”集合是隐含的,这通常不是定义明确的函数的情况。在这里,最严格的方法是意识到在转换之后,可能性与另一个模型相关。它相当于第一个,但仍然是另一个模型。所以似然符号应该显示它指的是哪个模型(通过下标或其他)。我当然从不这样做,但为了教学,我可能会这样做。

最后,为了与我之前的答案保持一致,我在你的最后一个公式中θ

我想我会称之为不同的东西。值的观测 x 的概率密度,表示为给定函数。我不同意比例常数的观点。我认为这只会发挥作用,因为最大化似然的任何单调函数会为提供相同的解决方案。所以你可以最大化对于或其他单调函数,例如这通常是这样做的。θθxθcL(θx)c>0log(L(θx))

这是一个严格的数学定义的尝试:

是一个随机向量,它承认关于上的某个度量,其中对于上关于的密度族。然后,对于任何,我们将似然函数定义为为清楚起见,对于每个我们都有可以认为是一种特殊的势X:ΩRnf(x|θ0)νRnθΘ{f(x|θ):θΘ}RnνxRnL(θ|x)f(x|θ)xLx:ΘRxxobs的“真实”值。θ0θ

关于这个定义的一些观察:

  1. 该定义足够健壮,可以处理的离散、连续和其他类型的分布族。X
  2. 我们在密度函数级别而不是在概率分布/度量级别定义似然性。这样做的原因是密度不是唯一的,事实证明,这不是一种可以传递到密度的等价类并且仍然安全的情况:在连续情况下,不同的密度选择会导致不同的 MLE。然而,在大多数情况下,理论上可以自然选择密度族。
  3. 我喜欢这个定义,因为它包含了我们正在使用的随机变量,并且通过设计,因为我们必须为它们分配一个分布,我们还严格建立了的“真实但未知”值的概念,这里表示对我来说,作为一名学生,严格似然的挑战始终是如何将“真实”和“观察到的”的真实世界概念与数学相协调;讲师声称这些概念不正式,然后在证明事情时转身并正式使用它们,这通常无济于事!所以我们在这个定义中正式处理它们。θθ0θxobs
  4. 编辑:当然,我们可以自由地考虑通常的随机元素并且在这个定义下,严格性没有真正的问题只要你小心(或者即使你不小心,如果那种严格程度对你来说并不重要)。L(θ|X)S(θ|X)I(θ|X)