外推有什么问题?

机器算法验证 回归 时间序列 预测 外推
2022-02-01 00:31:28

我记得作为本科生参加统计课程时,我听到了为什么外推是一个坏主意。此外,网上有各种来源对此发表评论。这里也有提及

谁能帮我理解为什么外推是一个坏主意?如果是的话,为什么预测技术在统计上不是无效的?

4个回答

回归模型通常用于外推,即预测对位于用于拟合模型的预测变量值范围之外的输入的响应。下图说明了与外推相关的危险。 图表显示外推线继续向上,其中“真实”值减小

回归模型是“通过构建”一个插值模型,不应用于外推,除非有适当的理由。

这部xkcd 漫画解释了这一切。

xkcd 漫画

使用 Cueball(拿着棍子的男人)拥有的数据点,他推断该女人将在下个月底之前拥有“四打”丈夫,并利用这一推断得出批量购买结婚蛋糕的结论。

编辑 3:对于那些说“他没有足够的数据点”的人,这里是另一个 xkcd 漫画

xkcd 漫画

在这里,随着时间的推移,“可持续”一词的使用显示在一个半对数图上,并且通过推断数据点,我们收到了一个不合理的估计,即“可持续”一词在未来出现的频率。

编辑 2:对于那些说“你也需要所有过去的数据点”的人,还有另一部 xkcd 漫画: xkcd 漫画

在这里,我们有所有过去的数据点,但我们无法准确预测 Google 地球的分辨率。请注意,这也是一个半对数图。

编辑:有时,即使是最强的(在这种情况下为 r=.9979)相关性也是完全错误的。


如果您在没有其他支持证据的情况下进行推断,那么您也违反相关性并不意味着因果关系统计学界的另一个大罪。

但是,如果您确实用 Y 推断 X,则必须确保您可以准确(足以满足您的要求)仅用Y预测 X。几乎总是,除了影响 X 之外,还有多个因素。

我想分享一个指向另一个答案的链接,用 Nassim Nicholas Taleb 的话来解释它。

“预测非常困难,尤其是关于未来的预测”。这句话以某种形式归功于许多人我将以下“外推”限制为“已知范围之外的预测”,并且在一维设置中,从已知过去外推到未知未来。

那么外推有什么问题。首先,模仿过去并不容易其次,很难知道过去的模型是否可以用于未来在这两个断言的背后都有关于因果关系或遍历性、解释变量的充分性等的深层问题,这些问题非常依赖于案例。问题在于,如果没有大量额外信息,很难选择在不同情况下都能正常工作的单一外推方案。

这种通用的不匹配在下面显示的Anscombe 四重奏数据集中得到了清楚的说明。线性回归也是(在坐标范围之外)外推的一个实例。同一条线回归四组点,具有相同的标准统计数据。但是,底层模型完全不同:第一个模型非常标准。第二个是参数模型错误(二次或三次多项式可能更适合),第三个显示除了一个值(异常值?)之外的完美拟合,第四个缺乏平滑关系(滞后?)。x

安斯科姆四重奏

但是,预测可以在一定程度上得到纠正。除了其他答案之外,还有一些成分可以帮助进行实际推断:

  1. 您可以根据样本到要推断的位置的距离(索引 )对样本进行加权。例如,使用递增函数(使用),如指数加权或平滑,或滑动样本窗口,以降低对旧值的重要性。npfp(n)pn
  2. 您可以使用多个外推模型,并将它们组合或选择最佳模型(组合预测,J. Scott Armstrong,2001)。最近有一些关于它们的最佳组合的工作(如果需要,我可以提供参考)。

最近,我参与了一个在实时环境中为仿真子系统的通信推断值的项目。该领域的教条是外推可能导致不稳定。我们实际上意识到,结合上述两种成分非常有效,没有明显的不稳定性(还没有正式的证明:CHOPtrey: contextual online polynomial extrapolation for enhanced multi-core co-simulation of complex systems , Simulation, 2017)。并且外推法适用于简单的多项式,计算负担非常低,大部分操作都是预先计算并存储在查找表中的。

最后,正如外推所暗示的有趣的图画,以下是线性回归的反向效果:

爱的乐趣和线性回归

尽管模型的拟合可能是“好的”,但必须对超出数据范围的外推持怀疑态度。原因是在许多情况下,外推(不幸且不可避免地)依赖于关于数据行为的不可检验的假设,超出了他们观察到的支持。

外推时必须做两个判断:第一,从定量的角度来看,模型在数据范围之外的有效性如何?第二,从定性的角度来看,一个点的可信度如何xout在观察到的样本范围之外成为我们为样本假设的总体的一员?因为这两个问题都需要一定程度的模糊性,所以外推法也被认为是一种模糊技术。如果你有理由接受这些假设成立,那么外推通常是一个有效的推理过程。

另一个需要注意的是,许多非参数估计技术本身不允许外推。在没有更多节点来锚定拟合样条的样条平滑情况下,这个问题尤其明显。

让我强调,外推远非邪恶。例如,统计学中广泛使用的数值方法(例如Aitken 的 delta-squared 过程Richardson 的外推法)本质上是外推方案,其基础是针对观察到的数据分析的函数的基本行为在函数的支持下保持稳定。