ANN 和 RNN 可用于在许多不同领域创建一些出色的模型，包括时间序列预测。然而，在所有这些领域中，它们都受到超参数优化问题的困扰。因为神经网络非常灵活，所以一开始并不清楚哪种神经元排列对解决给定问题最有效。也不清楚网络应该以多快的速度从新信号中学习，在网络的不同层中使用什么样的激活函数，以及几种可能的正则化方法中的哪一种可能是最好的。做出这些决定需要多年的实践和经验，或者大量的试验和错误（或者，可能两者兼而有之！）。

相比之下，像 ARMA 这样的基于回归的方法通常只有几个简单的超参数，每个超参数都有清晰、直观的含义。这意味着未经培训的从业者可能会获得与使用 ARMA 的受过培训的从业者的结果接近的 ARMA 结果。

本质上：神经网络很脆弱，对超参数的选择很敏感，而回归通常不是。

鉴于与更经典的预测模型相比，ML 模型的（通常）更高的架构复杂性，ML 模型可能还需要更多数据，否则它们可能会过度拟合训练数据集。

此外，使用随机梯度下降（即一次一个示例）的神经网络的在线学习（或训练）也可能在数值上不稳定且统计效率低下（因此收敛可能很慢）。有关更多详细信息和解决方案 (AI-SGD)，请参阅随机梯度下降中的稳定性和最优性。