MLE 比 Moment 方法更有效吗?

机器算法验证 置信区间 最大似然 矩量法 效率
2022-03-23 02:10:17

我有一些小的数据集(每组大约 8 到 11 个数据点),遵循正态分布。我想找出每组 0.005 和 0.995 百分位数的 95% 置信区间。

首先,采用矩估计法估计正态分布参数,其置信区间由(mu~Normal, sigma^2~Chi-square)定理建立。并通过模拟求出百分位数的置信区间。

其次,也采用了MLE方法,参数的CI由MLE~asymptotic Normal theorem构建。然后通过模拟找到百分位数的CI。

如图所示,MLE CI 比 Moment 方法窄得多。我们知道 MLE 是高效的,导致方差小和 CI 窄。这种理解与我们的图是一致的。

但是我的 MLE CI 方法是基于渐近假设,而我的数据点数量非常少。这(数据量太小)会导致 MLE 的 CI 不正确并且比矩方法更差吗?还是比矩方法更有效?

如果量太小,MLE CI 是否太窄而无法包含真值的 95% 概率?

在此处输入图像描述

2个回答

我只是想插话一个故事。上次联合统计会议上,我看到唐纳德鲁宾在因果推理会议上做了几次演讲后发表了讲话。他开始取笑演讲者,因为他们的方法基于逆概率加权方案(类似于抽样理论中的 Horvitz-Thompson 估计量)。无论如何,我永远不会忘记这句话(释义):

“Horvitz-Thompson 只是美化了矩量法。自 40 年代的费舍尔以来,我们就知道它不如最大似然法!”

百分位数估计不会有正态分布,即使是渐近的。既然你知道你的数据是正常的,为什么不考虑一个容差区间它本身不包含 99.5 和 0.05 百分位数,但您可以设置一个以覆盖 99% 的可能值,置信度为 X%(可调整)。如果您的目标是覆盖可能的值,这就足够了。但是,如果您真的想要实际的百分位数,请参阅这篇论文这个