最大似然检验的三位一体:面对矛盾的结论时该怎么办?

机器算法验证 假设检验 最大似然
2022-03-04 20:42:42

在最大似然估计的上下文中,Wald、似然比和拉格朗日乘数检验是渐近等价的。然而,对于小样本,它们往往会有很大的分歧,在某些情况下,它们会得出不同的结论。

如何根据拒绝空值的可能性对它们进行排名?当测试有冲突的答案时该怎么办?您可以只选择一个给出您想要的答案的答案,还是有关于如何进行的“规则”或“指南”?

2个回答

对于这三者的排名,我不会给出明确的答案。根据每个参数围绕您的参数构建 95% 的 CI,如果它们完全不同,那么您的第一步应该是更深入地挖掘。转换您的数据(尽管 LR 将是不变的),规范您的可能性等。不过,在紧要关头,我可能会选择 LR 测试和相关的 CI。接下来是一个粗略的论点。

LR 在参数化选择下是不变的(例如,T 与 logit(T))。Wald 统计假设 (T - T0)/SE(T) 的正态性。如果这失败了,你的 CI 很糟糕。LR 的好处是你不需要找到一个变换 f(T) 来满足正态性。基于 T 的 95% CI 将是相同的。此外,如果您的可能性不是二次的,那么对称的 Wald 95% CI 可能会很奇怪,因为它可能更喜欢可能性较低的值而不是可能性较高的值。

考虑 LR 的另一种方式是它使用了更多信息,松散地说,来自似然函数。Wald 基于 MLE 和零点似然曲率。分数基于零处的斜率和零处的曲率。LR 评估空值下的似然性,以及空值和备选并集下的似然性,并将两者结合起来。如果你被迫选择一个,这对于选择 LR 来说可能是直观的满足。

请记住,选择 Wald 或 Score 还有其他原因,例如方便或计算。Wald 是最简单的,并且在给定多变量参数的情况下,如果您要测试将许多单独的参数设置为 0,则有一些方便的方法可以近似似然。或者,如果您想从某个集合中一次添加一个变量,您可能不想最大化每个新模型的可能性,而分数测试的实现在这里提供了一些便利。当你的模型和可能性变得没有吸引力时,Wald 和 Score 变得有吸引力。(但我不认为这是你所质疑的,因为你有这三个可用......)

我不太了解该领域的文献,无法提供直接回应。但是,在我看来,如果这三个测试不同,则表明您需要进一步的研究/数据收集才能明确回答您的问题。

您可能还想看看这个谷歌学术搜索

更新以回应您的评论:

如果无法收集其他数据,则有一种解决方法。进行模拟,以反映您的数据结构、样本量和您提出的模型。您可以将参数设置为一些预先指定的值。使用生成的数据估计模型,然后检查三个测试中的哪一个将您指向正确的模型。这样的模拟将为您的真实数据使用哪种测试提供一些指导。那有意义吗?