不一致的最大似然估计量示例

机器算法验证 数理统计 参考 推理 统计能力 一致性
2022-03-05 18:52:20

我正在阅读一篇论文的评论,作者指出,有时,即使估计量(由 ML 或最大拟似然发现)可能不一致,似然比或拟似然比检验的功效仍然可以收敛到1 因为观察到的数据数量趋于无穷(测试一致性)。这是如何以及何时发生的?你知道一些参考书目吗?

2个回答

[我认为这可能是您问题中讨论的那种情况的一个例子。]

有许多不一致的 ML 估计器的例子。不一致常见于各种稍微复杂的混合问题和审查问题。

[测试的一致性基本上只是对(固定)错误假设的测试的力量增加到1,因为n.]

Radford Neal 在他的博客文章 2008-08-09 Inconsistent Maximum Likelihood Estimation: An “Ordinary” Example中给出了一个例子。它涉及参数的估计θ在:

X | θ    (1/2)N(0,1) + (1/2)N(θ,exp(1/θ2)2)

(尼尔使用t我在哪里θ) 其中 ML 估计为θ会倾向于0作为n(实际上,对于相当适中的样本量,在接近 0 的峰值中的可能性可能远高于真实值)。然而,在真实值附近有一个峰值θ,它只是比接近 0 的那个小。

现在想象一下与这种情况有关的两个案例:

a) 进行似然比检验H0:θ=θ0反对替代方案H1:θ<θ0;

b) 进行似然比检验H0:θ=θ0反对替代方案H1:θθ0.

在情况 (a) 中,假设真θ<θ0(因此替代方案为真,并且0是真实的另一面θ)。然后尽管非常接近 0 的可能性会超过θ, 的可能性在θ然而超过了在θ0即使在小样本中,该比率也会随着n,以使似然比检验中的拒绝概率变为 1。

事实上,即使在情况 (b) 中,只要θ0是固定的并且有界远离0,也应该是似然比将以这样的方式增长,使得似然比检验中的拒绝概率也接近 1。

所以这似乎是一个不一致的 ML 估计的例子,其中 LRT 的功率仍然应该达到 1(除非当θ0=0)。

[请注意,在 whuber 的回答中确实没有任何内容,我认为这是一个清晰的示例,并且对于理解测试一致性和估计器一致性之间的区别要简单得多。就理解这种差异而言,特定示例中的不一致估计器不是 ML 的事实并不重要 - 并引入一个特别是 ML 的不一致估计器 - 正如我在这里尝试做的那样 - 并没有真正改变任何实质性的解释。这里示例的唯一真正意义在于,我认为它解决了您对使用 ML 估计器的担忧。]

(Xn)从 Normal 中抽取 iid(μ,1)分配。考虑估计器

T(x1,,xn)=1+x¯=1+1ni=1nxn.

的分布T(X1,,Xn)=1+X¯是正常的(μ+1,1/n). 它收敛到μ+1μ,显示不一致。

在比较零假设时μ=μ0一个简单的选择,比如说μ=μA,对数似然比将与基于 LLR 的 LLR 完全相同X¯代替T. (有效,T对于比较零假设很有用μ+1=μ0+1对备择假设μ+1=μA+1.) 由于基于均值的检验具有收敛于1适用于任何测试规模α>0和任何效应大小,使用的测试的力量T本身也收敛到1.