在研究了时间序列分析之后，我认识到 RMSE 和 MAPE 是在实时序列应用中使用模型的最佳评估指标。但我的查询如下，因为这是我在时间序列分析中的第一个实践应用项目：
如果我使用过去 1 年的数据进行训练和预测未来 30 天，但我们将在 30 天后实时获得实际数据。我们如何将这些 RMSE 和 MAPE 与时间序列应用程序集成？
正如我从一些数据科学家那里听到的那样，如果我跳过第一个训练周期并在下一个再训练周期中为过去的训练周期计算这些 RMSE 和 MAPE，其中我有实际数据和预测数据，这种方法有用吗？
我担心计算出的 RMSE 和 MAPE 可以帮助实时提高模型性能。
从生产的角度来看，每次评估指标计算是否对保留有用？
提前致谢
我假设您有一个在生产中运行的模型，它会定期重新训练（例如：每个月）并预测接下来的 X 天（例如：30 天），并且您正在尝试使用 RMSE 和 MAPE 评估模型（如果这个假设是错误的，请在您的问题中澄清）
如果我使用过去 1 年的数据进行训练和预测未来 30 天，但我们将在 30 天后实时获得实际数据。我们如何将这些 RMSE 和 MAPE 与时间序列应用程序集成？
您将不得不对您的模型进行回测，即在过去的一天使用您的模型进行预测，从中您将获得 30 个预测值和 30 个实际值。然后聚合发生在Root Mean Square Erroror的平均部分Mean Average Percentage Error。理想情况下，您的模型不应该在训练阶段看到评估数据。
正如我从一些数据科学家那里听到的那样，如果我跳过第一个训练周期并在下一个再训练周期中为过去的训练周期计算这些 RMSE 和 MAPE，其中我有实际数据和预测数据，这种方法有用吗？
是的，这是评估模型的方法之一。
从生产的角度来看，每次再培训的评估指标计算是否有用？
定期监控生产中的模型是一种很好的做法（除非花费太多），为此您必须以最适合您的频率估计评估指标。