我正在(Amazon AWS)Tensorflow上训练一个深度学习模型,GPU我观察到的是,一开始每个时期只需要less than a second,但假设在 80 个时期之后,一个时期需要超过8 minutes.
可能的原因是什么?
我正在(Amazon AWS)Tensorflow上训练一个深度学习模型,GPU我观察到的是,一开始每个时期只需要less than a second,但假设在 80 个时期之后,一个时期需要超过8 minutes.
可能的原因是什么?
随着 epoch 数量的增加,误差会下降,神经网络可以从给定数据中学习的东西更少。学习率也随着接近尾声而降低,这使得梯度和权重更新的计算在数值上不稳定。这些是导致学习缓慢的一些原因。您可以在Quora上查看更多详细信息,其中 Ian Goodfellow 回答了类似的问题。