我们注意到我们的 A/B 测试中有一个有偏差的样本，并且想知道差异中的差异是否有助于我们对数据做出有效的结论，或者是否有其他方法可以继续。
我们在网站上进行了一项新实验，为 50% 的用户提供了一项新功能。我们将奇数 id 的用户分配到实验组，将偶数 id 的用户分配到对照组，然后运行实验。然而，我们发现即使在进行实验之前，两组之间也存在统计学差异。我们认为这是因为我们进行了许多实验，我们根据 id 的奇数/偶数进行分割，因此实验组中的人们已经看到了许多治疗方法。
所以吸取了教训，下次我们将掷硬币而不是使用 id。但是，我们想看看我们是否仍然可以从当前的实验中做出推论。我听说过一种叫做差异的东西。在这种情况下这会起作用吗，还是有其他更好的方法？理想情况下，我们不想放弃测试并重新开始，因为 50% 的用户已经看到了新功能。
为什么犹豫重新开始？A/B 测试是双刃剑，因为它是一个相对简单的练习（就像这些事情一样），但它有能力在很短的时间内完全改变你的业务。另外请记住，您要超越的阈值可能是“喜怒无常的”（因为没有更好的词），其中（例如）1.92 的 z 值不可能是“哦，这已经足够接近了...... .".
作为一名数据科学家，我永远不想在一个我对设计和执行都没有完全信心的实验上签名。如果有任何事情会影响你的最终分数，你绝对应该考虑放弃它并重新开始。
在实验的这一点上，你无法使两组相等。您可以做的是对两组的行为方式进行假设。
如果您可以安全地假设您使用偶数/奇数采样方法应用的先前处理不会与新的 A/B 测试交互，那么差异中的差异方法将是合适的。
作为这个假设（以及差异中的差异）不合适的一个简单示例：假设在您的第一个测试中，您向 A 组（赔率）发送了一本名为“健康饮食的重要性”的书。在第二个测试中，您发送 A 组（几率）膳食补充剂。A 组已受到可能影响对第二次测试的影响的先前治疗的影响。