关于计算样本量的最佳方法,我已经阅读了几个看似相互矛盾的说法。Visual Website Optimizer (VWO) 有一篇关于这个主题的长篇文章。埃文·米勒也是如此。优化也是如此。
使用各种工具通过以下设置估计样本量:
- 基线转化率:3%
- 最小可检测效果:20%
- 意义:95%
- 变化:2
我从各种计算器中得到以下信息:
- VWO(必须将“每日访问者”设置为 1 才能获得准确的样本量):25,867
- Evan Miller(设置为相对,统计功率 80%):13,050
- 优化:13,000
鉴于看似不同的计算方法,哪一种是“最好的”?我试图了解如何处理这个样本量问题。谢谢!
(我必须在这里列出链接,因为我需要更多的点来发布超过 2 个内联链接)参考:
文章:
- vwo.com/blog/how-to-calculate-ab-test-sample-size/
- www.vanmiller.org/how-not-to-run-an-ab-test.html
- help.optimizely.com/hc/en-us/articles/200133789-How-long-to-run-a-test
计算器:
- vwo.com/ab-split-test-duration/
- www.vanmiller.org/ab-testing/sample-size.html
- www.optimizely.com/resources/sample-size-calculator/?conversion=3&effect=20&significance=95
