Christian H Weiss 说:
一般来说,不清楚 ML 估计器是否(唯一)存在以及它们是否一致。
有人可以解释他的意思吗?一旦我们指定了概率分布,我们通常不知道对数似然函数的形状吗?
Christian H Weiss 说:
一般来说,不清楚 ML 估计器是否(唯一)存在以及它们是否一致。
有人可以解释他的意思吗?一旦我们指定了概率分布,我们通常不知道对数似然函数的形状吗?
多模态似然函数可以有两个值完全相同的模态。在这种情况下,MLE 可能不是唯一的,因为可能有两个可能的估计量可以通过使用方程来构造。
来自维基百科的这种可能性的例子:
在这里,看到没有使可能性最大化的Wikipedia 链接还提供了一些关于存在独特且一致的 MLE的条件,尽管我相信还有更多(更全面的文献搜索会很好地指导您)。
编辑:这个关于 MLEs 的链接,我相信是剑桥的讲义,列出了 MLE 存在的更多规律性条件。
您可以在这个CV question中找到不一致的 ML 估计器的示例。
一个例子来自等级不足。假设您正在执行 OLS 回归,但您的设计矩阵不是满秩的。在这种情况下,有任意数量的解获得最大似然值。这个问题不是 OLS 回归所独有的,但 OLS 回归是一个足够简单的例子。
另一种情况出现在二元逻辑回归的 MLE 中。假设回归显示分离; 在这种情况下,似然没有明确定义的最大值,因为任意大的系数单调地增加似然。
在这两种情况下,常见的正则化方法(如岭惩罚)都可以解决问题。
MLE 估计器非唯一性的另一个示例:
要通过 ML 估计拉普拉斯分布的位置参数,您需要一个值,使得:
也就是说,估计使得低于和高于的观察数相等。
显然,对于偶数,解决方案将不是唯一的,除非两个中心观测值(按升序排列)相同。
为了简单起见,通常我们选择作为估计值(样本中位数),因为它满足要求的条件并且是一个众所周知的统计量,但它可能不是独特的答案。
当您使用可能不会收敛的数值算法时,这很麻烦,因为没有一个答案。
另一个表明 ML Estimator 并不总是唯一的简单示例是模型. 如果您的样品是可能性如果这个样本是 1和否则。