Benjamini-Hochberg、Westfall-Young、Holm-Bonferroni 方法的样本量计算

机器算法验证 样本量 邦费罗尼
2022-04-20 14:34:24

我目前正在建立一个实验,我们可能想要进行多重比较(即同时比较几种治疗与对照)。使用 Bonferroni 校正计算所需的样本量非常简单。但是,Bonferroni 方法相当保守,我担心我们会浪费时间或资源来获取比我们实际需要的更多的样本。

有没有办法计算其他校正方法所需的样本量,例如 Benjamini-Hochberg、Holm-Bonferroni、Westfall-Young 校正?

或者,根据您的经验,您是否可能会看到使用任何这些其他方法的样本量有任何显着减少(超过 5%)?

所讨论的测试是对分类结果变量的治疗效果的简单比较,预期平均值为 50%。

1个回答

通常会做什么(虽然说起来容易做起来难),是这样的:

  • 进行试点研究,让您了解正在处理的数据
  • 基于此(或者如果不能进行试点研究,请了解有关领域的知识),创建一个数据生成模型,以便您可以对“看起来像”真实数据的数据进行采样。这样做以便您可以控制哪些观察是案例(在您希望它们被测试拾取的意义上)以及哪些是控制(再次,在您希望它们不被测试拾取的意义上)。
  • 对于一组合理的样本量中的每一个,运行 100 或 1000 次模拟(即:创建那么多数据集,越多越好),然后对其进行分析。计算例如错误发现率的表现如何。
  • 现在,您可以估计每个样本量的每个度量的执行情况,因此请根据您需要的性能选择样本量(如果可以达到的话),并对此保持保守(即:如果可以,添加另一个平板观察)

上面的困难显然在于创建该数据生成模型。再一次,当有疑问时:缩小“真实效果”并添加大量噪音以使其保持保守。

我很确定关于 FDR 的原始文章包含 FWER 表现非常糟糕的示例,因此可以预期样本量计算可能会因不同的措施而大不相同。