我正在建立一个模型来预测一家公司的时间序列（单变量）的订单。我正在使用 30 层 400 个 LSTM 神经元，每个神经元具有 Yann Lecun 的双曲正切激活函数，1 层 400 个 LSTM 神经元具有 relu 激活函数，3 层每层 500 个神经元具有 Relu 激活函数。
这些值已经有最好的表现了，但我不知道是否有训练的典型值，或者它是否是一个异常巨大的模型。
我的模型很大吗？我正在尝试预测一家公司的订单，但我不知道宏观参数是否有典型值
数据挖掘
lstm
预测
2022-03-14 11:18:57
1个回答
从理论上讲，模型应该足够大以具有低偏差（避免欠拟合），但又不能太大以具有过高的方差（避免过度拟合），称为偏差-方差权衡
偏差对您来说是否太低取决于您尝试建模的真实分布。实际上，这意味着您的模型是否获得了较低的训练损失。
偏差是否太高取决于真实分布以及您拥有多少数据。如果您的模型实现了低训练损失但高验证损失，那么它是过度拟合的，因此方差太大。在这种情况下，您需要降低模型的复杂性或获取更多数据。
如果你曾经达到一个点
1-降低模型的复杂度会使训练损失过高，并且
2-增加模型的复杂性会使验证损失增加
那么改进的唯一方法是以某种方式更改模型架构/超参数或获取更多数据。
其它你可能感兴趣的问题