如何为高度可变的数据创建 A/B 测试段

数据挖掘 测试
2022-03-08 20:48:14

我有一个具有高度可变性的数据。

我的目标是做一个 AB 测试来检查由于新变化引起的行为变化。

  1. 所有样品都显示出历史上的高和低性能。这意味着如果我随机抽取任何 2 个群组,它们会显示出巨大的历史比较差异以下是每周比较的示例。同样的行为也适用于每月和每天。

W1:-10.04%

W2:3.9%

W3:-4.2%

W4:-3.7%

W5:5.4%

W6:-2.6%

W8:0.8%

W9:-2.3%

W10:1.92%…………

  1. 无论我试图通过用户的聚合行为来细分用户并查看差异,仍然可以观察到这种程度的可变性。

  2. 无论在哪个方向,我都在寻找明显的差异以保持一致。无论是正面的还是负面的。并且,幅度范围小。

有人可以建议替代方法来最小化这种差异吗?

1个回答

您检测差异的能力取决于数据的相对标准偏差。有时噪声是由于季节性影响造成的,AB 测试在校正方面做得很好。但是,如果度量本身本质上是高方差,则您将需要较大的样本量,或调整您的显着性和功效参数。

检查您的标准偏差并进行功效计算以评估您的情况。

请记住,有些统计分布的方差接近无穷大。