如何在深度学习算法中选择最佳优化器?

数据挖掘 机器学习 深度学习 张量流 美国有线电视新闻网
2022-02-10 18:47:24

我一直在训练 CNN 对 4 个错误(声发射/250KhZ)信号进行分类。我在使用 tensorflow 库实现算法方面没有问题,但我对选择哪个优化器感到困惑。我一直在尝试不同的优化器,因为 Adam 优化器和梯度下降优化器算法在 k 折交叉验证上的测试分类准确率(~84% 到 85%)上给出了相同的结果。两个优化器的结果是相同的,是因为数据还是因为对大量数据(64000 个样本/故障条件)的训练?

是否有任何特定的指导方针可以为某种数据选择特定的优化器?或者,它是通过反复试验随机产生的吗?

1个回答

我发现很有帮助。

我通常坚持使用 Adam,很少尝试 SGD。简单的话:尝试使用最近在流行数据集上实现的优化器,并且该优化器已由声称比其他框架更好的框架实现。

具体说这个优化器最适合这种数据是主观的,我还没有阅读任何相关的材料。以后,如果有人发现它,请评论或编辑这篇文章。

希望这可以帮助。