我们有似然函数
和一个评分函数
其中是观测值,是参数向量。
如果我们考虑最大似然估计器的极值,所以
但我们需要。
那么,这种不等式是否总是正确的,或者是否存在 MLE 的可能性可能等于 0 的情况?
我们有似然函数
和一个评分函数
其中是观测值,是参数向量。
如果我们考虑最大似然估计器的极值,所以
但我们需要。
那么,这种不等式是否总是正确的,或者是否存在 MLE 的可能性可能等于 0 的情况?
如果您的模型非常不充分,至少一个离散(或连续)分布的观察对于任何参数值的概率(或概率密度)为零,也就是说,您基本上观察到了在此条件下不可能的事情模型,那么是的,您的最大可能性为零。
如果您观察到在每个可能的参数值下概率密度为零的样本,则似然函数在参数空间上为零。在这种情况下,每个参数值都是 MLE 的合法值(即,MLE 是整个参数空间),并且在作为 MLE 的每个点的可能性为零。这种情况是不寻常的(并且通常需要错误指定的模型)。更常见的情况是,当参数空间中至少一个参数值的似然函数为正时,在这种情况下,任何 MLE 点的似然必须为正(证明如下)。
定理:考虑一个似然函数我们有:
作为此似然函数的 MLE 的任何点。
证明:我们继续使用反证法。假设与定理相反,有一个点是 MLE 并且具有。由于这一点是一个 MLE,它必须满足:
这意味着对于所有与定理中似然性的条件相矛盾. 通过矛盾,这完成了证明。
当您将 MLE 定义为似然函数具有最大值的唯一点时,如果参数空间由多个点组成,则 MLE 中的似然度必须非零。
原因是可能性必须是非负的,因此零是整个范围的最小值。如果 MLE 的可能性为零,那么这会导致矛盾。这是因为:如果极值等于整个范围的最小值,则不可能有唯一的极值点。每个点都将具有相同的值。
在@Jarle Tufto 的答案中添加一个具体示例:如果是 iid,那么任何小于最大观察值的 \theta 给出的可能性,因为在此模型下,所有观测值都必须小于(或等于)。