我承认，这一段可能令人困惑。

在执行置换检验时，您确实估计了一个 p 值。问题是，p 值的估计本身有一个误差，计算为$\sqrt{\frac{p(1-p)}{k}}$. 如果误差太大，则 p 值不可靠。

那么需要多少个排列 k 才能得到一个可靠的估计呢？

首先定义您的最大允许误差，即精度。让它成为$P$. 然后估计的 p 值应在区间内$[p-3*P,p+3*P]$（因为 p近似正态分布）

使用上限

该论文的引用段落建议使用$\frac{1}{2\sqrt{k}}$作为误差的上限估计，而不是$\sqrt{\frac{p(1-p)}{k}}$. 这对应于 p=0.5 的未知 p 值（对于固定 k，在所有 ps 中误差最大）。

所以：你想知道k在哪里$\frac{1}{2\sqrt{k}}\le P$.

<=>$\frac{1}{4P^2}\le k$

但由于引用的公式代表一个上限，因此这种方法非常粗糙。

在显着性水平上使用误差

另一种方法使用所需的显着性水平$\alpha$作为 p 来计算所需的精度。这是正确的，因为如果我们接近决策阈值（即显着性水平），估计 p 的误差更重要。

在这种情况下，人们想知道 k 在哪里$\sqrt{\frac{\alpha(1-\alpha)}{k}}\le P$.

<=>$\frac{(\alpha(1-\alpha))}{P^2}\le k$

请注意，如果真正的未知 p 值明显大于$\alpha$，那么误差实际上更大，所以 p in$[p-3*P,p+3*P]$不再持有。

扩展置信区间

这种方法对应于置信区间的中心正好在决策阈值处。为了强制估计 p 的置信区间的上限低于决策阈值（更正确），需要...

$l\sqrt{\frac{\alpha(1-\alpha)}{k}}\le P$

<=>$(l)^2\frac{(\alpha(1-\alpha))}{P^2}\le k$

其中 l 对应（再次参见图形）

| l | confidence interval |
| 1 | ~68 % |
| 2 | ~95 % |
| 3 | ~99 % |

示例： 假设所需的精度 P 为 0.005。

然后使用粗略的上限得到$k>=10000$.

使用 P 在$\alpha=0.05$并要求得到一个 95% 的置信区间$k>=7600$.

对于 P = 0.01 在$\alpha=0.01$95% 的置信区间得到 k>=396。

最后：我强烈建议深入研究蒙特卡罗模拟。维基百科提供了一个开始。