我可以通过降低学习率来完全消除使用较小批量大小的影响吗?

数据挖掘 神经网络 优化
2021-10-06 06:44:31

我遇到的问题是来自常规大小的批次(例如,32、64)的数据不适合我的 GPU。在其他解决方案中,我正在考虑按照通常的建议减少批量大小。当然,这会让神经网络更加不稳定,所以需要考虑其他的事情。

例如,我正在考虑降低学习率,以抵消较小批量大小带来的不稳定性。使用较小的学习率会完全消除较高的不稳定性吗?或者,这是否带来了它自己的其他问题,并没有完全解决问题?

1个回答

你知道这篇文章/教程吗?

https://machinelearningmastery.com/how-to-control-the-speed-and-stability-of-training-neural-networks-with-gradient-descent-batch-size/

我没有研究这个答案,但我想当你确保批次是随机的时,较小的学习会给出相同的结果。

我的猜测是你将学习率除以批量减少因子的平方根。