置换测试（和自举）的理论基于查看每个可能的置换的想法。如果您可以查看所有可能的排列，那么您就有了一个精确的 p 值。

在大多数情况下，计算每个可能的排列是不切实际的，因此我们从可能排列的“总体”中采样，并从这个“样本”中计算 p 值。因此，由于我们从总体中抽取样本，我们可以使用标准技术（在这种情况下为二项式比例）来计算真实 p 值的置信区间，我们将从每个可能的排列中计算出来。

如何使用此置信区间：如果 alpha 的值（您的显着性截止值或 I 类错误的概率）在区间内，那么您不确定是否要拒绝，因为不同的排列样本可能会给出不同的结果。这意味着您可能应该使用更多的排列重新运行分析，以获得对真实 p 值的更好估计。

如果整个区间与您的 alpha 值相去甚远，那么您可以确信拒绝或不拒绝原假设。有些人会将最接近 alpha 的置信区间的界限报告为保守的 p 值。如果您已经完成了大量排列，那么通常边界将足够接近，因此无论哪种方式都无关紧要。

纯粹的常客解释：如果你要做这个实验$N$次，你应该期待$X$时间百分比（在您的情况下为 99%）或$N * X$时代，那是真实的$p$值落在此 99% 置信区间提供的范围内，该百分比或次数。