bootstrap 在小样本中有问题吗?

机器算法验证 参考 引导程序 渐近的 小样本
2022-02-03 18:41:53

Ed Leamer在“困扰我的三件事”(1988 年)中写道:

标准误差的 Bootstrap 估计是基于观察样本与真实分布相同的假设,渐近是可以的。但是一个大小的样本n意味着一个分布n质量点,这与真实分布完全不同,如果n是小。对于什么样的样本量和什么样的父群体,bootstrap 估计可以吗?

我的印象是,bootstrap 在统计和计量经济学中的主要用途之一就是在小样本中。在那里,当没有可用的分析分布并且样本太小以至于渐近分布不能很好地近似它时,使用自举分布。这使得 Ed Leamer 的批评非常相关和有趣。但也许我的印象是错误的,我误解了一些事情。

问:这是一个有效的批评吗?如果有,有没有详细研究过这个问题?有没有提出任何解决方案?

1个回答

我的简短回答是:是的,如果样本非常小,这肯定是个问题,因为样本可能没有足够的信息来很好地估计所需的总体参数。此问题影响所有统计方法,而不仅仅是引导程序。

然而,好消息是“小”可能比大多数人(了解渐近行为和中心极限定理)直观地假设的要小。在这里,当然,我指的是没有依赖数据或其他特性的正常(幼稚)引导程序。根据“引导方法:从业者和研究人员指南”的作者迈克尔·切尔尼克的说法,小可能小到 N=4。

但是这种不同的引导样本数量很快就会变大。因此,即使对于小至 8 的样本量,这也不是问题。

作为参考,请参阅 Chernick 对一个非常相似的问题的出色回答:Determining sample size required for bootstrap method / Proposed Method

当然,建议的样本量存在不确定性,并且无法指定最小样本量的通用阈值。因此,Chernick 建议增加样本量并研究收敛行为。我相信这是一个非常合理的方法。

这是来自同一答案的另一个引用,它以某种方式解决了您最初引用的前提:

自举原则是否成立并不取决于任何“看起来代表总体”的个体样本。它所依赖的是您正在估计的内容和总体分布的某些属性(例如,这适用于具有有限方差的总体分布的抽样均值,但不适用于具有无限方差的总体分布)。无论人口分布如何,它都不适用于估计极端值。