使用启发式方法进行 AB 测试

数据挖掘 优化 消费者网
2022-02-21 11:05:44

我刚刚开始阅读有关 AB 测试的内容,因为它与优化网站设计有关。我发现有趣的是,大多数方法都假设对布局和外观的更改是相互独立的。我知道最常见的优化方法是“多臂老虎机”程序。虽然我掌握了它的概念,但它似乎忽略了这样一个事实,即更改(在这种情况下是对网站的更改)不是相互独立的。

例如,如果公司正在测试网站上徽标的位置和颜色,他们会首先找到最佳颜色,然后才是最佳位置。不是说我是人类心理学方面的专家,但这些不应该相关吗?在这种情况下或更复杂的情况下可以有效地使用多臂老虎机方法吗?

我的第一反应是拒绝。关于这一点,为什么人们没有使用启发式算法来优化复杂的 AB 测试样本空间?例如,我认为有人可能使用遗传算法来优化网站布局,但我找不到这样的例子。这让我相信我在理解 AB 测试时遗漏了一些重要的东西,因为它适用于网站优化。

为什么不在更复杂的网站上使用启发式优化?

1个回答

如果我正确理解您的问题,遗传算法可能不是优化网站功能的好主意有两个原因:

1)反馈数据来得太慢,比如说一天一次,遗传算法可能需要一段时间才能收敛。

2)在测试遗传算法的过程中可能会提出“奇怪”的组合,这可能不是公司想要承担的风险。