ARIMA 模型和回归模型之间的模型比较

机器算法验证 有马 模型比较 动态回归
2022-03-21 18:21:10

我真的很难找出如何比较 ARIMA 和回归模型。我了解如何将 ARIMA 模型相互评估,以及不同类型的回归模型(即:回归与带有 AR 错误的动态回归)相互评估,但是我看不出 ARIMA 模型和回归模型评估指标之间有很多共同点。

他们共享的唯一两个指标是 SBC 和 AIC。ARIMA 输出既不产生根 MSE 数字,也不产生 r^2 统计量。我不太确定 ARIMA 模型的标准误差估计是否与回归输出中的任何内容直接等效(或可比)。

如果有人能指出我正确的方向,那就太好了,因为我在这里真的很困惑。我觉得我正在尝试将苹果与橙子进行比较。

顺便说一句,我正在使用 SAS 进行此分析。

3个回答

如果我们排除 ARIMAX 模型,它们是带有回归量的 ARIMA,ARIMA 和回归模型是具有不同方法的模型。ARIMA 尝试仅使用有关同一变量的过去值的信息对变量进行建模。另一方面,回归模型用其他变量的值对变量进行建模由于这些方法不同,因此模型无法直接进行比较是很自然的。

另一方面,由于两个模型都试图对一个变量进行建模,因此它们都生成了该变量的建模值。因此模型比较的问题与模型值与真实值的比较相同。有关如何做到这一点的更多信息,请参见Hastie 等人的《统计学习要素》第七章。是一本启发性的读物。

更新:请注意,我不主张仅在样本拟合中进行比较,只是当模型不同时,比较模型的自然方法是比较它们的输出,而不管它们是如何获得的。

您可以使用 arima 模型的 MSE/AIC/BIC 并将其与回归模型的 MSE/AIC/BIC 进行比较。只要确保拟合值的数量相同,否则您可能会犯错误。例如,如果 ARIMA 模型的滞后结构为 sp+p(sp 阶的季节性差异和 p 阶的自回归结构,则您将丢失第一个 sp+p 数据点,并且实际上仅拟合 NOB-SP-P 值。如果回归模型没有滞后,那么您有 NOB 拟合点或更少,具体取决于您对输入滞后值的规范。因此,必须意识到 MSE 可能与历史实际值不同。一种方法是根据最后一个 NOB-SP-P 值计算回归模型的 MSE,以使模型处于平等地位。您可能想要 GOOGLE “ 最后,通常永远不会只拟合具有时间序列的回归模型,因为它们可能是因果滞后和因变量滞后中的信息,证明从回归到传递函数模型(即 ARMAX 模型)的逐步上升是合理的。如果你没有STEP-UP,那么一个或多个高斯假设将无效,使你的F/T测试变得毫无意义和无关紧要。此外,可能会违反误差项的恒定性,需要结合电平偏移/本地时间趋势和脉冲或季节性脉冲变量,以使误差过程具有“处处均值为 0.0” 最后,通常永远不会只拟合具有时间序列的回归模型,因为它们可能是因果滞后和因变量滞后中的信息,证明从回归到传递函数模型(即 ARMAX 模型)的逐步上升是合理的。如果你没有STEP-UP,那么一个或多个高斯假设将无效,使你的F/T测试变得毫无意义和无关紧要。此外,可能会违反误差项的恒定性,需要结合电平偏移/本地时间趋势和脉冲或季节性脉冲变量,以使误差过程具有“处处均值为 0.0” t STEP-UP 然后一项或多项高斯假设将无效,使您的 F/T 测试变得毫无意义和无关紧要。此外,可能会违反误差项的恒定性,需要结合电平偏移/本地时间趋势和脉冲或季节性脉冲变量,以使误差过程具有“处处均值为 0.0” t STEP-UP 然后一项或多项高斯假设将无效,使您的 F/T 测试变得毫无意义和无关紧要。此外,可能会违反误差项的恒定性,需要结合电平偏移/本地时间趋势和脉冲或季节性脉冲变量,以使误差过程具有“处处均值为 0.0”

交叉验证在这里可能会很好。为此,您将数据集分成两部分。您使用第一部分来拟合两个模型,然后使用拟合模型来预测第二部分。这可以证明是对模型选择的完全贝叶斯方法的近似。我们有一个模型的可能性Mi

p(d1d2...dN|MiI)=p(d1|MiI)×p(d2|d1MiI)×p(d3|d1d2MiI)×..
..×p(dN|d1d2...dN1MiI)

这可以启发式地视为一系列预测,然后从错误中学习。您无需训练即可预测第一个数据点。然后,您在了解第一个数据点的模型后预测第二个数据点。然后在使用前两个数据点了解模型后预测第三个数据点,依此类推。现在,如果您有足够大的数据集,那么模型的参数将在一定数量的数据之外得到很好的确定,我们将拥有一些价值k

p(dk+2|d1....dkdk+1MiI)p(dk+2|d1....dkMiI)

模型无法再“学习”参数,基本上只是根据第一个进行预测k观察。所以我会选择k(第一组的大小)足够大,以便您可以准确地拟合模型,20-30每个参数的数据点可能就足够了。你也想选择k足够大,使得依赖dk+1...dN被忽略并不会使近似值变得无用。

然后我会简单地评估每个预测的可能性,并将它们的比率解释为似然比。如果比例大约1, 那么没有一个模型比另一个模型特别好。如果离得很远1那么这表明其中一个模型的表现优于另一个。低于 5 的比率为弱,10 为强,20 为非常强,100 为决定性(对应于小数的倒数)。