在对查看广告的两个变体的用户的点击次数（每个视图是一次展示）执行 A/B 测试时，可以假设二项分布，其中每个变体具有恒定的点击率。
示例：两个广告，
-> 广告一有 1000 次展示和 20 次点击，CTR 为 2%；
-> 广告二有 900 次展示和 30 次点击，点击率为 3.3%。
测试广告一和广告二之间的点击率 (CTR) 是否存在差异。
两个群体的 t 检验：
与第一个问题类似，我们知道每个实验的样本均值就是我们需要比较的 CTR。根据 CTR，样本均值限制了正态分布。然后我们有
X¯1∼N(p1,p1(1−p1)/n1)
X¯2∼N(p2,p2(1−p2)/n2)
T检验：
如果点击率不是恒定的，实际上是随机分布的（例如正态分布），这将如何影响样本平均点击率的标准差，从而影响测试结果的有效性。
我担心的是，如果使用上述分布并且实际标准差更高，我们最终会错误地接受替代假设。有趣的是，当我们运行 A/A 测试（即变体相同）时，我们似乎经常比您预期的更频繁地接受备择假设，我想知道这是否可能是由于围绕点击率保持不变。
您提出的问题有些令人困惑，我相信您使用的一些假设是不正确的。如果我误解了，请多多包涵并纠正我。
您建议有不同类型的点击率，恒定和随机（正态分布）；这不是真的。假设点击率在样本中随机分布。我不知道什么是恒定的点击率，但在 T 检验计算中没有这样的假设。点击的顺序无关紧要，只有概率，这相当于实际的点击率（未知）。当您采样时，通过测量，您将计算估计的点击率。我们知道这个过程是概率性的，我们最终可以得到高于或低于实际的估计值点击率，但应该接近。它是正态分布的样本均值，如中心极限定理所述。估计 CTR 的标准差，也称为标准误差，由估计 CTR 设置。
假设您的样本中点击的“分布”是随机的，但在计算中顺序应该无关紧要，并且不应影响测试结果的有效性。
运行 AA 测试是确认所有数学、统计和日志记录是否正常的好方法。如果您发现统计显着性结果的频率高于显着性阈值 (alpha)，则说明有问题。但我看不出“假定的点击分布是恒定的”如何可能是根本原因。
祝你好运，愿你的测试得到正确的供电。
您可能想尝试不对数据的分布形式做出假设的置换测试。置换测试可用于 A/B 和 A/A 场景。