理解辛普森的悖论:安德鲁·格尔曼的例子,收入与性别和身高有关

机器算法验证 回归 相互作用 辛普森悖论
2022-01-27 17:50:57

Andrew Gelman 在他最近的一篇博客文章中说:

  1. 我不认为反事实或潜在结果对于辛普森悖论是必要的。我这样说是因为人们可以用无法操纵的变量来建立辛普森悖论,或者对那些操纵不直接感兴趣的变量。

  2. 辛普森悖论是一个更普遍的问题的一部分,即如果添加更多预测变量,回归系数会发生变化,符号的翻转并不是真正必要的。

这是我在教学中使用的一个例子,它说明了这两点:

我可以运行回归预测来自性别和身高的收入。我发现性别系数为10,000美元(即,比较相同身高的男女,男性平均会多赚10,000美元),身高系数为 500美元(即,比较两个男人或两个女人不同身高的人,平均而言,较高的人每英寸身高会多赚 500 美元)

我该如何解释这些系数?我觉得身高系数很容易解释(很容易想象比较两个不同身高的同性),确实在不控制性别的情况下回归身高似乎有点“错误” ,就像原始的一样矮个子和高个子之间的差异可以通过男女之间的差异来“解释”。但上述模型中的性别系数似乎很难解释:例如,为什么要比较身高均为 66 英寸的男性和女性?那将是一个矮个子男人与一个高个子女人的比较。所有这些推理似乎都有模糊的因果关系,但我认为使用潜在结果来考虑它是没有意义的。

我思考了一下(甚至在帖子上发表了评论),并认为这里有一些东西需要更清楚地理解。

直到关于性别解释的部分都很好。但我不明白将一个矮个子男人和一个高个子女人进行比较有什么问题。这是我的观点:事实上它更有意义(假设男性平均更高)。您不能出于完全相同的原因比较“矮个男人”和“矮个”女人,即收入差异在某种程度上可以由身高差异来解释。高个子男人和高个子女人也是如此,矮个子女人和高个子男人更是如此(可以这么说,这更不可能了)。所以基本上只有在比较矮个男人和高个女人的情况下才会消除身高的影响(这有助于解释性别系数)。这不是对流行匹配模型背后的类似基本概念敲响了警钟吗?

辛普森悖论背后的想法是人口效应可能与亚组效应不同。这在某种意义上与他的第 2 点有关,并且他承认不应单独控制身高(我们所说的省略变量偏差)。但我无法将这与关于性别系数的争议联系起来。

也许你可以更清楚地表达它?或者评论一下我的理解?

3个回答

我不完全确定您的问题,但可以评论他的主张以及您在示例模型中的困惑。

Andrew 不太清楚科学兴趣在于身高调整后的性收入关联还是性别调整后的身高收入关联。在因果模型框架中,性导致身高,但身高不会导致性。因此,如果我们想要性别的影响,调整身高会引入中介偏见(也可能是对撞机偏见,因为富人更高!)。当我看到应用研究解释另一个模型中包含的“协变量”(混杂因素和精度变量)。它们是无稽之谈,但只是提供了足够的分层来进行必要的比较。如果您对基于性别的收入差异进行推断感兴趣,那么调整身高是错误的做法。

我同意解释辛普森悖论不需要反事实。它们可以只是数据固有的特征。我认为粗略和调整后的 RR 在某种意义上都是正确的,没有因果关系。当然,当目标是因果分析时,问题就更大了,而过度调整揭示了不可折叠性(这使 OR 膨胀)和样本量不足的问题。

提醒读者:辛普森悖论是一种非常具体的现象,它指的是在控制了一个混杂变量后关联会翻转方向的实例。伯克利招生数据就是一个鼓舞人心的例子。在那里,粗略的 RR 显示女性不太可能被伯克利录取。然而,一旦按部门分层,RR 显示女性更有可能每个部门接受。他们只是更有可能申请那些拒绝很多人的困难部门。

现在在因果推理理论中,我们会被迷惑地认为适用于的部门 导致 性别. 性别是固有的对吗?嗯,是的,也不是。Miettenen 主张对此类问题采用“研究基础”方法:人口是谁?不是所有符合条件的学生,而是专门申请伯克利的学生。更具竞争力的部门吸引了女性申请伯克利,否则她们不会申请。扩展:一个非常聪明的女人想要进入最好的,比如说,工程项目。如果伯克利没有一个伟大的工程项目,她无论如何都不会申请伯克利,她会申请麻省理工学院或加州理工学院。因此,从这个角度来看,“申请学生”人口、部门会导致性别并且是一个混杂因素。(警告:我是第一代大学生,所以不太了解哪些程序以什么而闻名)。

那么我们如何总结这些数据呢?诚然,伯克利更倾向于接纳男性而不是女性确实,伯克利各系更倾向于招收女性而不是招收男性。粗略和分层的 RR 是明智的措施,即使它们是非因果的。这强调了我们作为统计学家的措辞精确是多么重要(谦虚的作者并不认为自己是非常精确的)。

混杂是一种与不可折叠性不同的现象,不可折叠性是另一种形式的遗漏变量偏差,但已知会对估计产生更温和的影响。与逻辑回归不同,不可折叠性不会导致线性回归中的偏差,并且应该更彻底地描述 Gelman 示例中对连续性的考虑。

Andrew 在他的性别/身高调整收入模型中对性别系数的解释揭示了模型假设的性质:线性假设。事实上,在线性模型中,男性和女性之间的这种比较是可行的,因为对于特定的女性,我们可以预测即使他没有被观察到,一个相似身高的男性可能已经获得了多少。如果允许进行效果修正,情况也是如此,因此女性的趋势斜率与男性不同。另一方面,我不认为设想相同身高的男性和女性很疯狂,66英寸确实是一个高个子的女人和一个矮个子的男人。对我来说,这似乎是一个温和的预测,而不是粗略的推断。此外,由于模型假设可以清楚地陈述,它有助于读者理解性别分层的收入-身高关联所包含的信息是在两者之间借用平均的。男性和女性的样本。如果这种关联是推断的对象,那么认真的统计学家显然会考虑效果修正的可能性。

“举个例子,为什么要比较一个身高都是 66 英寸的男人和一个女人?那将是一个矮个子男人和一个高个子女人的比较

该模型假设收入取决于性别和身高。然而,身高产生更高收入的方式对于男性和女性来说可能并不相同。在男性可能仍然被认为矮的高度上,女性可能被认为“足够高”。

以下列方式简化模型可能很有用。

假设您想要回归在大型服装零售店担任售货员的概率,并考虑以下识别策略。

您观察到雇主更有可能雇用达到一定最低身高的工人,其中“最低”与性别有关。

不是以厘米为单位测量身高,而是假设存在两个阈值,分别定义男性和女性在哪个高度“高”:男性 >= 180 厘米,女性 >= 170 厘米。

假设阈值在现实中存在(即雇主在女性和 169 厘米或 171 厘米高之间做出了实际的显着差异),并且它们是正确的,您可以构建一个定义高/矮男性和女性的假人。不同身高的男性和女性可能仍属于您的假人的同一类别,同时您的衡量标准与该特定劳动力市场的真实动态一致。

你会说(用更简单的话)典型的性别斗争说男性比女性有更多的机会,因为他们的收入比女性高 p% 会自相矛盾吗?

也许这是一个重点。我们倾向于看到事物的样子,而不是分析潜在的含义。

为了超越辛普森悖论,我们必须回答“与男性相比,女性做同样数量的公正工作需要多赚多少钱?” 那么有人可能会说他们必须怀孕并抚养孩子比他们的同行更多,这是真的,但重要的问题是,仅仅说“女性作为女性的机会更少”和深刻的条件统计分析将使我们看到,本质上往往存在平等机会,它们是与性别无关的其他因素,使统计数据看起来像是与性别问题有关的歧视。