我最近应用了一系列预测方法(MEAN、RWF、ETS、ARIMA 和 MLP),发现 MEAN 的表现出奇地好。(MEAN:所有未来预测都被预测为等于观测值的算术平均值。)在我使用的三个系列上,MEAN 甚至优于 ARIMA。
我想知道这是否不寻常?这是否意味着我使用的时代系列很奇怪?或者这是否表明我设置了错误?
我最近应用了一系列预测方法(MEAN、RWF、ETS、ARIMA 和 MLP),发现 MEAN 的表现出奇地好。(MEAN:所有未来预测都被预测为等于观测值的算术平均值。)在我使用的三个系列上,MEAN 甚至优于 ARIMA。
我想知道这是否不寻常?这是否意味着我使用的时代系列很奇怪?或者这是否表明我设置了错误?
这一点也不奇怪。在预测中,您经常会发现极其简单的方法,例如
优于更复杂的方法。这就是为什么您应该始终根据这些非常简单的基准测试您的方法。
George Athanosopoulos 和 Rob Hyndman(他们是该领域的专家)的一句话:
有些预测方法非常简单,而且效果惊人。
请注意他们如何明确表示他们将使用一些非常简单的方法作为基准。
事实上,非常推荐他们的整个免费开放在线预测教科书。
编辑:更广为接受的预测误差度量之一, Hyndman & Koehler的平均绝对尺度误差 (MASE) (另请参见此处)衡量给定预测对(样本内)天真的随机游走预测的改进程度:如果 MASE < 1,您的预测优于样本内随机游走。你会认为这很容易被打败,对吧?
并非如此:有时,即使是 ARIMA 或 ETS 等多种标准预测方法中最好的,也只会产生 1.38 的 MASE,即(样本外)比(样本内)随机游走预测更差。这足以令人不安,以至于在这里提出问题。(这个问题不是这个问题的重复,因为 MASE 比较了样本外的准确性和一种简单方法的样本内准确性,但它对当前问题也很有启发性。)
我是一名从业者,既是预测的生产者又是用户,而不是训练有素的统计学家。下面我通过参考依赖经验证据的研究文章来分享我对为什么您的平均预测比 ARIMA 更好的一些想法。我一次又一次地回去参考的一本书是阿姆斯特朗的《预测原理》一书及其网站,我会推荐它作为任何预测者的优秀读物,它提供了关于外推方法的使用和指导原则的深刻见解。
回答你的第一个问题 - 我想知道这是否不寻常?
有一章叫做时间序列和横截面数据的外推,也可以在同一网站上免费获得。以下是该章节的引述
“例如,在检查 29 个月度系列的实时 M2 竞赛中,Box-Jenkins 被证明是最不准确的方法之一,其总体中值误差比幼稚预测大 17%”
有一个经验证据表明为什么您的平均预测优于 ARIMA 模型。
在实证竞赛和第三次M3 竞赛中也有研究表明 Box - Jenkins ARIMA 方法无法产生准确的预测,并且缺乏证据表明它在单变量趋势外推方面表现更好。
在同一网站上还有另一篇论文和 Greene 和 Armstrong 正在进行的研究,题为“简单预测:睡前避免流泪”。该论文的作者总结如下:
我们总共确定了 29 篇论文,其中包含 94 项对来自复杂方法的预测准确性与来自简单(但并非在所有情况下都非常简单)方法的预测准确性的正式比较。83% 的比较发现,简单方法的预测比复杂方法的预测更准确,或与复杂方法的预测相似。平均而言,在提供误差比较的 21 项研究中,复杂方法的预测误差比简单方法的预测误差高约 32%
回答您的第三个问题:这是否表明我设置错误?不,我将 ARIMA 视为复杂方法,将平均预测视为简单方法。有充分的证据表明,平均预测等简单方法优于 ARIMA 等复杂方法。
回答你的第二个问题:这是否意味着我使用的时间序列很奇怪?
以下是我认为的现实世界预测专家:
上述所有研究人员都提倡简单(方法如平均预测)与复杂方法(如 ARIMA)。因此,您应该感到自在,您的预测是好的,并且始终倾向于基于经验证据的简单性而不是复杂性。这些研究人员都为应用预测领域做出了巨大贡献。
除了斯蒂芬的简单预测方法的好列表。还有另一种称为Theta 预测方法的方法,这是一种非常简单的方法(基本上简单指数平滑,漂移等于线性回归斜率的 1/2)我会将其添加到您的工具箱中。Forecast package in R
实现这个方法。