Bootstrap 是基于经验 cdf 与真实 cdf 的收敛性，即

$$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)$$ 收敛（如$n$去无穷大）到$F(x)$对于每个$x$. 因此，自举分布的收敛$\hat{\theta}(X_1,\ldots,X_n)=g(\hat{F}_n)$ 是由这种收敛速度驱动的$\sqrt{n}$对于每个 $x$， 自从 $$\sqrt{n}\{\hat{F}_n(x)-F(x)\}\stackrel{\text{dist}}{\longrightarrow}\mathsf{N}(0,F(x)[1-F(x)])$$ 即使这种速率和限制分布不会自动转移到$g(\hat{F}_n)$. 在实践中，为了评估近似值的可变性，您可以对$g(\hat{F}_n)$通过双引导，即通过引导引导评估。

作为更新，这是我在课堂 上使用的插图：lhs 比较真实 cdf$F$与经验 cdf$\hat{F}_n$为了$n=100$观察结果和 rhs 图$250$lhs 的副本，用于 250 个不同的样本，以测量 cdf 近似值的可变性。在示例中，我知道真相，因此我可以根据真相进行模拟以评估可变性。在现实情况下，我不知道$F$因此我必须从$\hat{F}_n$而是生成类似的图表。

进一步更新：这是从经验 cdf 开始时管图的样子：

在信息论中，量化一个分布与另一个分布“接近”程度的典型方法是使用KL 散度

让我们尝试用一个高度倾斜的长尾数据集来说明它——休斯顿机场的飞机到达延误（来自hflights包）。让$\hat \theta$是平均估计。首先，我们找到样本分布$\hat \theta$，然后是自举分布$\hat \theta$

这是数据集：

真实平均值为 7.09 分钟。

首先，我们做一定数量的样本，得到样本分布$\hat \theta$，然后我们抽取一个样本并从中抽取许多引导样本。

例如，让我们看一下样本大小为 100 和 5000 次重复的两个分布。我们在视觉上看到这些分布是相当分开的，KL 散度为 0.48。

但是当我们将样本量增加到 1000 时，它们开始收敛（KL 散度为 0.11）

并且当样本量为 5000 时，它们非常接近（KL 散度为 0.01）

当然，这取决于您获得的引导程序样本，但我相信您可以看到，随着我们增加样本量，KL 散度下降，因此引导程序分布$\hat \theta$接近样本分布$\hat \theta$就KL散度而言。可以肯定的是，您可以尝试进行几次引导并取 KL 散度的平均值。

这是这个实验的R代码：https ://gist.github.com/alexeygrigorev/0b97794aea78eee9d794