在没有仪器的情况下,我们可以对观测数据模型说些什么?

机器算法验证 回归 参考 工具变量 观察研究
2022-03-29 10:11:18

过去,我曾向我询问过许多与已发表论文有关的问题,这些论文涉及在观察数据(即不是由对照实验产生的数据)上使用回归(和相关模型,例如面板模型或 GLM)的一些领域,在许多情况下——但并非总是——随时间观察到的数据),但没有尝试引入工具变量。

作为回应,我提出了许多批评(例如在可能缺少重要变量时描述带有偏见的问题),但是由于这里的其他人无疑会比我在这个主题上知识渊博得多,所以我想我会问:

  1. 在这种情况下,试图就关系得出结论(特别是但不限于因果结论)的主要问题/后果是什么?

  2. 在没有仪器的情况下,可以通过适合此类模型的研究来做任何有用的事情吗?

  3. 关于这种建模问题的一些好的参考资料(书籍或论文)(最好有明确的非技术性动机的后果,因为通常提出问题的人有不同的背景,有些没有太多的统计数据)人们可能会在批评时参考一篇论文?讨论仪器的预防措施/问题也会很有用。

(有关工具变量的基本参考资料在此处,但如果您有任何要添加的内容,那也会很有帮助。)

指向寻找和使用仪器的良好实际示例的指针将是一个奖励,但不是这个问题的核心。

[我可能会在这里向其他人指出任何好的答案,因为我会遇到这样的问题。当我得到它们时,我可能会添加一两个示例。]

2个回答

因此,我的绝大多数领域(尽管不是我工作最多的部分)都只关注这一点——将 GLM 类型模型与观测数据拟合。在大多数情况下,工具变量很少见,要么是由于对技术不熟悉,要么是因为缺乏好的工具。要按顺序解决您的问题:

  1. 当然,主要问题是与暴露和感兴趣的结果相关的未观察变量造成的某种残余混杂。简单的语言版本是您的答案可能是错误的,但您不一定知道如何或为什么。根据该信息做出的决定(例如是否使用特定处理,环境中的 X 事物是否危险等)是使用错误信息做出的决定。

  2. 我断言这个问题的答案是肯定的,因为在大多数情况下,这些研究试图找到一些不一定有好的工具,或者随机化是不可能的东西。因此,归根结底,另一种选择是“只是猜测”。如果没有别的,这些模型是我们思想的形式化和接近答案的可靠尝试,并且更容易应对。

例如,您可以询问偏见必须有多严重才能定性地改变您的答案(即“是的,X 对您不利……”),并评估您是否认为存在未知因素是合理的潜伏在你的数据之外的那种力量。

例如,HPV感染与宫颈癌密切相关的发现是一个重要的发现,而一个无法测量的因素的强度会一直偏向于零,这将必须是惊人的强。

此外,应该注意的是,工具并不能解决这个问题——它们也只能在没有一些未测量的关联的情况下工作,甚至随机试验也存在问题(治疗组和对照组之间的差异辍学、随机化后的任何行为变化、对实际情况的普遍性)目标人群)也被掩盖了一点。

  1. Rothman、Greenland 和 Lash 撰写了最新版的《现代流行病学》,该书本质上是一本致力于以尽可能最好的方式实现这些目标的书。

与 Fomite 所展示的流行病学家的观点相反,工具变量是经济学中很早就教授的一个重要工具包。这样做的原因是,当今经济研究中试图回答因果问题的焦点很大,以至于仅仅相关性甚至被认为是无趣的。主要限制是经济学是一个天生就很难进行随机实验的领域。如果我想知道父母过早去世对孩子的长期教育成果有何影响,大多数人会反对通过随机对照试验来做这件事——这是正确的。这份来自 MIT 课程的讲义在第 3-5 页概述了实验存在的其他问题。

依次解决每个问题:

  1. 根据要回答的问题,在不使用非实验方法的情况下,可能使对观测数据的分析无效的不仅仅是遗漏的变量。选择问题、测量误差、反向因果关系或同时性可能同样重要。主要问题是数据分析师需要了解此设置的局限性。这主要是指商业案例,因为在学术场景中,这将很快被发现。有时我看到市场分析师想要估计价格弹性以告知客户(例如,如果我们将价格提高x%),所以他们估计了一个需求方程,完全忘记或忽略了需求和供应是同时确定的,并且一个影响另一个的事实。因此,后果更多地取决于研究人员/数据分析师对数据局限性的认识,而不是数据本身,但由此产生的后果可能是微不足道的,也可能是对人们的生活产生负面影响的程度。
  2. 有时显示相关性可能很有用,它实际上取决于问题。在寻找因果效应时,如果你有一个自然实验也足够了。智利的人口普查数据可能是观测数据,但如果您想知道上次地震如何影响教育程度(地震可以说是外生的),那么观测数据也可以回答因果问题。
    在一定程度上也可以在没有工具的情况下评估内生性(参见上述讲义中的第 9 页,“估计遗漏变量偏差的程度”)。对于二元非实验性治疗Di您可以计算这种处理的效果,对不可观察值做同样的事情,并询问不可观察值的变化必须有多大才能解释观察到的处理效果。如果未观察到的变化必须非常大,那么我们可以对我们的发现更加信任。对此的参考是Altonji, Elder and Taber (2000)
  3. 可能任何应用经济学家都会推荐Angrist 和 Pischke (2009) “Mostly Harmless Econometrics”。尽管这本书主要是为研究生和研究人员准备的,但也可以跳过其中的数学部分,只获得直觉,这也得到了很好的解释。他们首先介绍了实验设置的概念,然后倾向于 OLS 及其在遗漏变量、同时性、选择等方面的内生性方面的局限性,然后广泛讨论工具变量以及应用文献中的大量示例。他们还讨论了工具变量的问题,例如弱工具或使用太多工具变量。安格里斯特和克鲁格 (2001)还提供了工具变量和潜在陷阱的非技术概述,并且他们还有一个表格,总结了几项研究及其工具。

可能所有这些都比这里的典型答案要长得多,但问题非常广泛。我只想强调一点,工具变量(通常很难找到)并不是我们口袋里唯一的子弹。还有其他非实验方法可以从观察数据中发现因果效应,例如差异中的差异、回归不连续设计、匹配或固定效应回归(如果我们的混杂因素是时间不变的)。所有这些都在 Angrist 和 Pischke (2009) 以及开头链接的讲义中进行了讨论。