如何确定公司决策是否成功?

数据挖掘 统计数据 时间序列 实验 测试
2022-02-13 17:47:06

我试图弄清楚公司做出的决定(为特定产品提供折扣)是否成功。我做了一些研究,发现 A/B 测试可能是一种方法,但 A/B 测试只能在 2 组(控制组和实验组)中进行,在这种情况下,我所拥有的只是过去和“之后决定”的数据。

在这种情况下可以使用 AB 测试背后的统计数据吗?

我拥有的数据是每篇文章每天的销售额,仅针对一家公司在决策前后(只有一个决策)。

例子:

从 2016 年 1 月 1 日到 2016 年 2 月 1 日,商品 X 和 Y 的销售额。决定是在 2016-01-15 降低文章 A 和 B 的折扣,所以我想知道这个决定之后销售额是否下降。

2个回答

您可以使用时间序列方法对“如果不是”场景进行建模,并在新程序引入后将其与您的值进行比较。检查来自 Google 的 causal_impact 数据包,您可能还会发现本教程对概率编程很有帮助。http://nbviewer.jupyter.org/github/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers/blob/master/Prologue/Prologue.ipynb

您正在尝试确定某些事件/处理(即销售)是否对某些 product_x 的销售产生重大影响。如果您同时拥有测试组和对照组,则 A/B 测试适合回答此问题。

给定: ( T ) 测试和 ( C ) 控制组,其中O1 = 观察 1,标准化销售的基线测量(即 product_x 在某个预定义时间段内的平均销售额)和O2 = 标准化销售的处理后测量。在第一次和第二次观察/测量之间,T给予实验处理X。

典型的实验设计——

T:O1 X O2

C:O1。氧气

从 OP 的描述中,听起来好像您没有足够的对照组 - 虽然并不理想,但可以在事后创建类似控件的组(有时您可以使用包来帮助在事后创建匹配的对照组,例如, {选择匹配} )。在您的情况下,是否可以从与您正在研究的商店相似的商店获取销售数据,但在 product_x 上没有销售?如果是这样,这可能足以作为对照组。

但是,根据您的描述,听起来您有一个预测试后设计:

给定: ( T ) 测试组,处理X和事件前后的标准化销售额

------时间----->

T:O1 X O2

使用这种设计,有效性的主要威胁是缺乏足够的对照组来确保任何观察到的效果实际上是由于实验处理(即销售)。例如,如果您观察到 product_x 的总销售额从售前到售后期间都有所增加,则此发现与您的原始假设一致(A Sale 将增加 product_x 的总销售额),但也与某些碰巧与销售相关的某种时间效应(例如季节性效应,产品销售在特定时间段(如假日季节)会增加)。