治疗干扰(因果分析)

机器算法验证 实验设计 因果关系 治疗效果
2022-04-18 10:06:46

我正在研究学生及其对成绩的看法。具体来说,我想做一个实验,让学生(a)查看他们在一门课程中的实际成绩(以百分比形式) - 控制条件或(b)他们在一门课程中的实际成绩(以百分比形式)以及他们的百分位数在课堂上 - 治疗条件。例如,一个学生可能在班级中获得 90% 的收入(以百分比计),但在班级的第 99 个百分位。感兴趣的关键问题是看到百分位信息是否会影响学生的积极性等。

但是,我想知道治疗干扰。也就是说,治疗条件中的百分位信息是相关的。如果一个学生的百分位较高,那必然意味着班上的另一位学生的百分位较低。考虑到这一点,我的实验有效吗?有什么办法可以解决这个问题吗?我想确定我正在绘制正确的因果解释。

1个回答

我会说这确实是有效的。

您可能通过比较对照组来衡量什么

  • 那些只看到他们在课程中的实际成绩的人(百分比)

治疗组

  • 谁看到他们在课程中的实际成绩(百分比)和他们的百分位排名

本质上是提出(相对)衡量标准的效果,在该衡量标准中,您的相对收益意味着其他人的损失。

从统计上讲,您应该知道排名的另外两个问题(另请参见此处):

首先是关于样本量的排名变化:在小班中,实际成绩的微小变化可能会导致显着的百分排名变化(例如,如果班里只有 11 名学生,则从 60% 到 70%)。如果治疗组和对照组的班级规模不同,这可能会在某种意义上影响您的解释(取决于您所期望的机制)。通常,您很少在非常小的类别中使用排名(例如,出于数据隐私的原因)。在一组假设中展示一个排名,假设五个人可以让学生因其他原因而采取不同的行为,而不是我认为的。

二是底层分布的形态一个百分位点的排名变化可能更容易或更困难,具体取决于您所在的位置。认为考试中有一项极其艰巨的任务,而其他所有任务都很容易。你可以轻松地爬到第 80 个百分位,但另一个等级的提升需要知道如何解决该任务。