我将为 ML 模型执行 A/B 测试。但是我不确定我应该在网上运行多长时间才能看到显着的差异。什么是正确的时间框架?时间框架背后的原因是什么?A/B 测试将针对 None ML 系统运行。通常,我们最多运行 2 周的无 ML 功能。谢谢
ML 模型 A/B 测试的持续时间
数据挖掘
机器学习
测试
2022-03-16 07:28:33
1个回答
首先,这不是持续时间的问题,而是可以收集的数据点数量的问题:如果每天只有几个用户,那么收集足够数据点所需的时间要比有数百万个用户要长得多。
现在您需要多少数据点?没有简单的答案,因为这取决于您要测试的具体内容以及两种情况之间的差异有多大。
一个好的解决方法是从一些假设的场景开始:想象例如 100、1000 或 10000 个用户,结果会有大、中或小的差异。在所有这些不同的场景中运行测试,并检查何时获得显着差异。在此基础上,选择一个足以在大多数情况下获得明确结果的目标用户数。
最后,可以根据每日用户的平均数量来估算持续时间。
其它你可能感兴趣的问题