MLE 中的似然函数可以为零吗?

机器算法验证 最大似然 可能性
2022-03-28 02:45:12

我们有似然函数

L(Θ|x1,,xn)=i=1nf(xi|Θ)

和一个评分函数

V(Θ|x1,,xn)=Θi=1nlnf(xi,Θ),

其中是观测值,是参数向量。xiΘ

如果我们考虑最大似然估计器的极值,所以ΘL

V(Θ)=0,

但我们需要L(Θ|x1,,xn)0

那么,这种不等式是否总是正确的,或者是否存在 MLE 的可能性可能等于 0 的情况?

4个回答

如果您的模型非常不充分,至少一个离散(或连续)分布的观察对于任何参数值的概率(或概率密度)为零,也就是说,您基本上观察到了在此条件下不可能的事情模型,那么是的,您的最大可能性为零。θΘ

如果您观察到在每个可能的参数值下概率密度为零的样本,则似然函数在参数空间上为零。在这种情况下,每个参数值都是 MLE 的合法值(即,MLE 是整个参数空间),并且在作为 MLE 的每个点的可能性为零。这种情况是不寻常的(并且通常需要错误指定的模型)。更常见的情况是,当参数空间中至少一个参数值的似然函数为正时,在这种情况下,任何 MLE 点的似然必须为正(证明如下)。


定理:考虑一个似然函数我们有:Lx:ΘR

Lx(θ)>0for some θΘ.

作为此似然函数的 MLE 的任何点θ^ΘLx(θ^)>0

证明:我们继续使用反证法。假设与定理相反,有一个点是 MLE 并且具有由于这一点是一个 MLE,它必须满足:θ^Lx(θ^)0

Lx(θ^)Lx(θ)for all θΘ.

这意味着对于所有与定理中似然性的条件相矛盾. 通过矛盾,这完成了证明。 Lx(θ)Lx(θ^)0θΘ

当您将 MLE 定义为似然函数具有最大值的唯一点时如果参数空间由多个点组成,则 MLE 中的似然度必须非零。

原因是可能性必须是非负的,因此零是整个范围的最小值。如果 MLE 的可能性为零,那么这会导致矛盾。这是因为:如果极值等于整个范围的最小值,则不可能有唯一的极值点。每个点都将具有相同的值。

在@Jarle Tufto 的答案中添加一个具体示例:如果是 iid,那么任何小于最大观察值的 \theta 给出的可能性,因为在此模型下,所有观测值都必须小于(或等于)X1,X2,,XnU(0,θ)θθ