确定一组广告中哪个广告的点击率最高所需的样本量

机器算法验证 方差分析 样本量 t检验 经验法则
2022-03-30 04:47:38

我是一名软件设计师,我正在为客户开发一个项目,我想确保我的分析在统计上是合理的。

考虑以下情况: 我们有n 个广告(n < 10),我们只想知道哪个广告效果最好。 我们的广告服务器将随机投放其中一个广告。成功就是用户点击了广告——我们的服务器会跟踪这一点。

给定:置信区间:95%

问题:估计的样本量是多少?(我们必须投放多少广告),为什么?(记住我是个假人)

谢谢

1个回答

您可能想要的测试是Fisher 的精确测试不幸的是,考虑到可能非常低的点击率和较小的预期效果大小,您将需要巨大的 N 才能达到您想要的置信区间。假设您的最佳广告的“真实”点击率是 0.11,而次佳广告的点击率是 0.1。此外,假设您希望错误地拒绝原假设(两个广告之间没有差异)的概率小于 0.20。如果是这样,您将需要一个大约 10,000 的 N。

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

正如评论者所建议的那样,您可能不应该关心广告效果的 10% 差异。对于较大的差异,样本的必要大小会迅速减小。

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785