为什么在拆分测试中使用平均收入?

数据挖掘 研究 交叉验证
2021-09-20 15:06:39

我问了一个数据科学问题,关于如何在 StackExchange 的统计部分确定拆分测试的最佳变体。我希望我在这里能有更好的运气。问题基本上是,“为什么每个用户的平均收入是您在拆分测试中做出决定的最佳指标?”

原始问题在这里:https ://stats.stackexchange.com/questions/107599/better-estimator-of-expected-sum-than-mean

由于它没有得到很好的接受/理解,我将问题简化为一组离散的购买并将其表述为经典概率问题。这个问题在这里:https ://stats.stackexchange.com/questions/107848/drawing-numbered-balls-from-an-urn

平均值可能是此类决定的最佳指标,但我不相信。我们通常有很多先验信息,因此贝叶斯方法可能会改善我们的估计。我意识到这是一个难题,但数据科学家每天都在做这样的拆分测试。

1个回答

如果您有先验信息,那么您当然不应该在拆分测试中使用简单均值。我假设您试图通过模拟潜在分布来预测哪个组将产生最大的整体收入。

首先,值得注意的是,您选择的任何指标实际上都会以一种非常微不足道的方式简化为平均值。最终均值必然会解决,尽管使用标准贝叶斯方法估计均值可能是您最好的选择。

如果您有先验,那么使用标准贝叶斯方法更新平均收入的先验可能是最好的方法。基本上,只需获取您获得的单个结果并更新代表您在每种情况下的先验的多项分布。

如果您想了解更多关于多项分布的完整背景知识,因为贝叶斯先验非常好,这篇Microsoft 论文很好地概述了它。一般来说,我不太关心您的分布在技术上是离散的这一事实,因为多项分布将有效地插值在您的解决方案空间中,为您提供一个非常接近离散空间的连续分布。