最小化解释建模中的偏差,为什么?(Galit Shmueli 的《解释或预测》)

机器算法验证 预测模型 推理 偏见 无偏估计器 解释模型
2022-02-11 07:58:11

这个问题参考了 Galit Shmueli 的论文“To Explain or to Predict”

具体来说,在第 1.5 节“解释和预测是不同的”中,Shmueli 教授写道:

在解释性建模中,重点是最小化偏差以获得对基础理论的最准确表示。

每次阅读这篇论文时,我都感到困惑。在什么意义上,最小化估计偏差可以最准确地表示基础理论?

我还观看了 Shmueli 教授在 2017 年 JMP 发现峰会上发表的演讲她说:

...诸如收缩模型、合奏之类的东西,你永远不会看到那些。因为这些模型在设计上会引入偏差以减少整体偏差/方差。这就是为什么他们不会在那里,这样做没有任何理论上的意义。为什么你会故意让你的模型有偏见?

这并没有真正阐明我的问题,只是重申了我不理解的主张。

如果理论有很多参数,而我们没有足够的数据来估计它们,那么估计误差将由方差支配。在这种情况下,为什么不适合使用岭回归(导致较低方差的有偏估计)之类的有偏估计程序?

2个回答

这确实是一个很好的问题,需要深入了解在计量经济学和社会科学研究中使用统计模型的世界(据我所知,从事描述性或预测性工作的应用统计学家和数据挖掘者通常不会处理这种形式的偏见)。我在文章中使用的术语“偏见”是计量经济学家和社会科学家认为从实证研究中推断因果关系的严重危险。它指的是您的统计模型与作为其基础的因果理论模型之间的差异一个相关的术语是“模型规范”,这是一个在计量经济学中大量教授的主题,因为当你的目标是因果解释时,“正确指定你的回归模型”(相对于理论)很重要。有关规范的维基百科文章进行简要说明。一个主要的错误指定问题是规格不足,称为“省略变量偏差”(OVB),其中您从回归中省略了一个应该存在的解释变量(根据理论) - 这是一个与因变量相关的变量和至少有一个解释变量。请参阅这个简洁的描述),它解释了这种偏见的含义。从理论的角度来看,OVB 会损害您从模型中推断因果关系的能力。

在我的论文的附录中解释还是预测?有一个例子显示了一个未指定(“错误”)的模型有时如何具有更高的预测能力。但现在希望你能明白为什么这与“良好的因果解释模型”的目标相矛盾。

在什么意义上,最小化估计偏差可以最准确地表示基础理论?

在通常意义上的计量经济学中。在典型的经济模型中,涉及到一些参数,计量经济学的最初作用是量化它们。因此,在经济学/计量经济学模型中,参数是理论的核心。他们执行了经济学家寻找的因果意义(或者应该如此)。正是出于这个原因,计量经济学手册主要关注内生性等概念,然后是偏见即使出于这个原因,至少直到几年前,在几本计量经济学书籍中根本没有考虑像 LASSO 和 RIDGE 这样的估计器(它们会导致偏差)。

在预测中,理论不是核心,因果问题也不是。只有预测值的可靠性是核心,过拟合是主要的相关问题。因此,重点不是参数,而不是偏差/内生性。

不幸的是,在过去几年中,计量经济学家对因果关系的关键作用产生了一些混淆。这个事实似乎与因果关系和预测之间的混淆问题有关。

在文章中解释还是预测?强调了错误的模型(有偏见的)对于预测仍然有用。在某些情况下,它也可能比正确的(正确指定)更好。教授本人的答复中提到了这一事实。在我看来,这篇文章的主要贡献在于它阐明了这样一个事实,即如果我们了解区别并避免将因果关系和预测混为一谈,我们也可以理解某些概念和工具对一个范围有用但作用不大对于另一个。

在一些涉及预测问题的通用计量经济学手册中,根本没有讨论过拟合在样本与样本表现方面的作用,或者充其量也没有充分讨论。过度拟合在这些文本中没有同样的内生性,但如果我们理解过度拟合处理预测而内生处理因果关系,则应该如此。我对这种区别进行了很多检查,但在几本计量经济学书籍中并不清楚。关于因果关系的一些模糊之处是相关的。直到最近,情况才开始好转……但还不够。我在这个网站上写了一些关于这些问题的东西。例如:

预测的内生性

计量经济学中的回归和因果关系

不一致的估计器是否更可取?

内生回归和相关

我希望他们能帮助别人

而且

如果理论有很多参数,而我们没有足够的数据来估计它们,那么估计误差将由方差支配。在这种情况下,为什么不适合使用岭回归(导致较低方差的有偏估计)之类的有偏估计程序?

有趣的一点。简约对预测和因果关系都有好处。在基本线性模型中,预测似乎也比因果关系更重要。Prof的回复(见文中附录)似乎是朝着这个方向发展的;规格不足有利于预测。这个讨论是密切相关的(模型选择中的悖论(AIC,BIC,解释还是预测?))。但是,我建议将文章中的示例视为非常相关的 ma,同时将其视为教学示例;他的技术含义不应被夸大……计量经济学/统计建模是一个广泛而复杂的领域。

在我看来,有机会拥有一个暗示具有许多参数的模型的好理论是值得商榷的。简约在因果模型中也很好。在某些情况下,更多的是因果关系而不是预测。作为相关的例子,所谓的大数据给了我们可能性,似乎我对预测比因果关系更相关。事实上,如果我们可以跳过对它们的任何理论审查,并且只有相关性很重要,那么许多预测因子实际上是很好的。这个位置有利于纯粹的预测,但在因果模型中几乎没有道理。您声称的工具(RIDGE、LASSO、ecc)适用于大数据,然后用于预测而不是因果关系。

警告1:这里因果关系和预测之间的差异是极端的,可以调用几个重叠。同一篇文章警告了这一事实。

警告 2:多参数情况为非参数模型打开了大门。这不是经济理论的标准,至少现在还不是。也许在这个领域,预测和因果关系之间的重叠更难解开。我必须对此进行更多研究。