一个 ML 估计器怎么可能不是唯一的或一致的?

机器算法验证 估计 最大似然 一致性
2022-03-30 06:07:02

Christian H Weiss 说:

一般来说,不清楚 ML 估计器是否(唯一)存在以及它们是否一致。

有人可以解释他的意思吗?一旦我们指定了概率分布,我们通常不知道对数似然函数的形状吗?

4个回答

多模态似然函数可以有两个值完全相同的模态。在这种情况下,MLE 可能不是唯一的,因为可能有两个可能的估计量可以通过使用方程来构造。l(θ;x)/θ=0

来自维基百科的这种可能性的例子:

多模态似然

在这里,看到没有使可能性最大化的Wikipedia 链接还提供了一些关于存在独特且一致的 MLE的条件,尽管我相信还有更多(更全面的文献搜索会很好地指导您)。θ

编辑:这个关于 MLEs 的链接,我相信是剑桥的讲义,列出了 MLE 存在的更多规律性条件。

您可以在这个CV question中找到不一致的 ML 估计器的示例

一个例子来自等级不足。假设您正在执行 OLS 回归,但您的设计矩阵不是满秩的。在这种情况下,有任意数量的解获得最大似然值。这个问题不是 OLS 回归所独有的,但 OLS 回归是一个足够简单的例子。

另一种情况出现在二元逻辑回归的 MLE 中。假设回归显示; 在这种情况下,似然没有明确定义的最大值,因为任意大的系数单调地增加似然。

在这两种情况下,常见的正则化方法(如岭惩罚)都可以解决问题。

MLE 估计器非唯一性的另一个示例:

要通过 ML 估计拉普拉斯分布的位置参数,您需要一个值,使得: μμ^

i=1n|xiμ^|xiμ^=0

也就是说,估计使得低于和高于的观察数相等。μ^μ^

显然,对于偶数,解决方案将不是唯一的,除非两个中心观测值(按升序排列)相同。n>1

为了简单起见,通常我们选择作为估计值(样本中位数),因为它满足要求的条件并且是一个众所周知的统计量,但它可能不是独特的答案。μ^=x

当您使用可能不会收敛的数值算法时,这很麻烦,因为没有一个答案。

另一个表明 ML Estimator 并不总是唯一的简单示例是模型U(θ,θ+1)n. 如果您的样品是(x1,...,xn)可能性f(x1,...xn|θ)如果这个样本是 1xi[θ,θ+1]i=1...n0否则。