在使用对照和一条实验路线开始 a/b 测试之前,我可以根据两条路线的转化率估计值计算所需的样本量。通过查看历史数据,我可以很好地估计控件的转化率。但实验路线的转化率未知。我想做的是根据各种敏感性计算许多不同的样本量。
例如,我可以计算 10%、15% 和 20% 灵敏度(从控制增加的转化率)的样本量,可能如下所示:
Sensitivity Required Sample Size
10% 1,961
15% 871
20% 490
我所做的一些阅读表明,您应该在测试开始时计算单个样本大小,并始终运行该测试。
问题:
- 检查多个预先计算的样本量的统计显着性是否有任何问题,如果我发现结果具有统计显着性,可能会提前结束测试?
例子:
我最初估计实验路线会比对照路线高出 15%。但是,当我达到 490 个样本后,我发现实验路线实际上比对照高 20%,我是否可以结束测试并声明实验路线将转化率提高了 20%?