双机器学习是否具有双重鲁棒性?如果是这样,怎么做?

机器算法验证 机器学习 因果关系
2022-03-20 12:33:54

双重/去偏机器学习是否对内生性具有双重鲁棒性?

我听说过使用双重/去偏机器学习进行因果推理(Chernozhukov,et al 2016),甚至在EconML中实现了它。有人告诉我,双重/去偏机器学习对内生性具有双重鲁棒性。

我对双重稳健的理解是,如果一个估计量同时建模(1.)协变量和结果之间的关系并使用这些关系来预测缺失值,并且(2.)给定缺失的概率建模协变量并将它们合并到加权或分层估计中(Kang 和 Schafer,2007 年)。如果正确指定了这两个模型中的任何一个,则模型将输出正确的参数估计值。

双重/去偏机器学习是否具有这种非常吸引人的特性?如果是这样,任何人都可以解释原因,或者让我参考一些可能澄清原因的材料吗?

谢谢!

1个回答

是的,但这只是因为双重机器学习在底层使用了双重鲁棒的估计器。交叉拟合过程本身不会导致双重鲁棒性。

双稳健估计器

如前所述,双重稳健的估计量允许您有两次机会正确指定滋扰模型(滋扰模型是治疗和结果模型)。但是,没有理由认为您可以使用只有两次机会的参数模型来做到这一点。这就是机器学习的用武之地。

机器学习用于通过使用半参数或非参数估计器来削弱关于模型规范的假设。但是,这些更灵活的麻烦函数的收敛速度比慢。因此,逆概率权重或 do-calculus 等方法将具有反保守方差(也可能存在偏差)。双鲁棒估计器变得必要,因为它们允许较慢的收敛速度。n1/2

交叉拟合

尽管如此,双重鲁棒估计器需要对滋扰函数估计器进行限制。具体来说,它们是 Donsker 类(即估计量不能过于复杂)。双重机器学习针对这个问题。交叉拟合过程允许对滋扰函数使用非 Donsker 类估计器。

结论

Chernozhukov 等人描述的双重/去偏机器学习。2016 年依赖于双重稳健的估计量(例如,在平均治疗效果的背景下,它使用增强的逆概率权重)。因此,该方法将是双重稳健的。然而,双重机器学习过程旨在解决双重鲁棒估计器的特定问题,并使用机器学习来处理讨厌的函数。与机器学习(双重机器学习)的交叉拟合应与双重鲁棒估计器一起使用。

从我关于 arXiv(Zivich 和 Breskin 2020)的论文的讨论部分中提取:

当使用数据自适应机器学习进行滋扰函数估计时,对具有交叉拟合的双重鲁棒估计器的需求源于估计器的 Von Mises 扩展中的两个项。第一项由扩展中的经验过程项描述,可以通过限制讨厌模型的复杂性(例如,通过要求它们属于 Donsker 类)或通过交叉拟合来控制。因为很难或不可能验证给定的机器学习方法是否属于 Donsker 类,所以交叉拟合提供了一种简单而有吸引力的替代方案。第二项是二阶余数,随着样本量的增加它收敛到零。对于有效的推理,希望这个余项收敛为n1/2,称为 root-n 收敛。收敛率不是计算问题,而是估计器本身的一个特征。不幸的是,数据自适应算法由于其灵活性而通常具有较慢的收敛速度。然而,由于双稳健估计量的二阶余项是处理和结果滋扰模型的近似误差的乘积,所以双稳健估计器只要求滋扰模型的收敛速度的乘积为 . 总而言之,交叉拟合允许使用高度复杂的滋扰模型,而双重稳健估计器允许使用缓慢收敛的滋扰模型。一起使用,这些方法允许人们使用广泛的数据自适应机器学习方法来估计因果效应。n1/2