在 A/B 测试中，通过确保将访问者随机分配到网站的版本 A 或版本 B，可以很好地处理偏差。这会创建从同一人群中抽取的独立样本。由于这些组是独立的，并且平均而言，仅在所看到的站点版本上有所不同，因此该测试衡量了设计决策的效果。

稍稍撇开：现在您可能会争辩说，A 组或 B 组在某些人口统计方面可能有所不同。这通常是随机发生的。在某种程度上，这可以通过协变量调整随机化来解决。也可以通过向模型中添加协变量来测试设计决策的效果来解决这个问题。应该注意的是，在统计界仍然有一些关于正确方法的讨论。本质上，A/B 测试是将随机控制试验应用于网站设计。有些人不同意在测试中添加协变量。其他人，例如 Frank Harrel（请参阅回归建模策略）主张在此类模型中使用协变量。

我会提出以下建议：

• 提前设计研究，以便尽可能多地处理偏差和变异的来源。
• 让数据自己说话。随着您获得更多数据（例如关于大卫贝克汉姆的搜索），让它支配您对数据应该如何的假设（当样本量变大时，后验如何在贝叶斯分析中支配先验）。
• 确保您的数据符合模型的假设。