为什么随着学习的进行,Epochs 需要更长的时间?

数据挖掘 显卡 时代
2022-03-01 00:48:23

我正在(Amazon AWS)Tensorflow上训练一个深度学习模型,GPU我观察到的是,一开始每个时期只需要less than a second,但假设在 80 个时期之后,一个时期需要超过8 minutes.

可能的原因是什么?

1个回答

随着 epoch 数量的增加,误差会下降,神经网络可以从给定数据中学习的东西更少。学习率也随着接近尾声而降低,这使得梯度和权重更新的计算在数值上不稳定。这些是导致学习缓慢的一些原因。您可以在Quora上查看更多详细信息,其中 Ian Goodfellow 回答了类似的问题。