专家预测软件评测

机器算法验证 时间序列 预测 参考 软件
2022-04-04 23:27:26

我对使用专家系统评估预测软件有疑问:

文献中对专家预测软件是否有任何客观评估(不是来自制造商)?

我找到了两个参考,但都是旧的:

  1. 预测原理 (2001) Armstrong
  2. 预测方法和应用 (1998) Makridakis 等。

SCAAUTOBOX好像是市面上的两个专家系统,有没有对这两个软件进行比较?有没有其他具有专家系统的软件?

3个回答

自动预测软件的唯一正确评估是在真实数据上的正面竞争。上一次这样的大型比赛是在 2000 年的 M3 比赛中进行的。结果公开:http: //www.forecastingprinciples.com/paperpdf/Makridakia-The%20M3%20Competition.pdf得出你自己的结论,什么自动化软件是最好的。

自 2000 年以来引入的软件和自动方法未在此处列出。国际预测杂志上不时发表一些额外的比较。

SCA 和 AUTOBOX 的最后一次审查是在 1995 年完成的(请参阅此处)。我们已经联系了 Foresight 的编辑 Len Tashman 教授,对 AUTOBOX 与 SAS 进行了面对面的审查,但 SAS 的代表在 2010 年 7 月给出了否定的答复:

ARIMA 建模是一个有趣的主题,但不是我想关注的主题,也不是我认为是现代预测方法的核心。即使比较的范围明确限于 ARIMA 功能,Autobox 与 SAS 的比较仍然存在不平衡。Autobox 是一款专门针对自动 ARIMA 建模的小众产品。另一方面,SAS/ETS 为计量经济学和时间序列建模提供了广泛的工具——我们的 PROC ARIMA 只是 27 个 ETS 程序之一。对于预测,我们的主要产品是 SAS Forecast Server,而不是 SAS/ETS。反过来,SAS/ETS 和 Forecast Server 只是 SAS 产品线中数十种产品中的两种。所以即使这篇文章专门限于 ARIMA,

纠正上述问题:AUTOBOX 一直是关于 ARIMA 和传递函数的自动和非自动建模。通过这种方式,专家可以像 SCA 和 SAS 一样使用他们的专业知识,或者他们可以选择使用 AUTOBOX 中的专家启发式作为生产力辅助工具。

2010 年有一篇关于 AUTOBOX 的最新评论(请参阅此处),该评论非常彻底。

我是 AUTOBOX 的开发者之一。如果您需要更多帮助,请随时与我联系和/或提出其他问题。

这不是答案,而是对@Irishstat 的评论。这是一个冗长的评论,所以我写这个作为答案。

@Irishstat,我真的很惊讶为什么像 Foresight 这样著名期刊的编辑需要获得 SAS 代表的许可才能在两个软件之间进行比较。我认为这是一项科学实证研究,任何可以使用 SAS 预测软件和 Autobox 的人都应该能够做到,尤其是在大学里。我正在阅读Armstrong教授的预测黄金法则文章,他建议采用基于经验证据的方法、软件/工具。我认为像 Foresight 这样的期刊应该能够为了预测社区的利益对预测软件进行独立比较,而不是专门与预测供应商挂钩,并提供足够的资金。

我不得不为参加 M3 等预测比赛的 autobox 和 predict pro 鼓掌。

我知道有一个 M4 比赛,我不确定 SAS 是否参加了 M4 比赛。我们是否知道 M4 比赛结果是否以及何时公布?