恒定的验证损失和准确率,训练准确率波动

数据挖掘 训练 损失函数 学习率 深度学习
2022-03-09 01:21:37

我正在训练一个用于图像二元分类的 Squeeze-net 模型。我有 79968 张图像用于训练(50:50 支持和反对),验证集中有 8892 张图像。经过 35000 次迭代后,我的训练精度在 1 到 0.96875 之间波动。验证准确度在 [0.985, 0.986] 之间或多或少是恒定的。基础学习率为 0.01,然后下降到 0.00001。据我所知,视觉训练损失并不完全在两个数字之间波动,但除了一些偶尔的尖峰外,大部分都在 [0.02, 0.09] 范围内。

我的问题是我能从中推断出什么?(1) 过拟合?(2) 模型已经收敛?如果不是我应该降低学习率吗?(3) 模型是否停留在局部最小值?我使用 softmax-with-loss 作为我的损失层。

1个回答

损失是否下降到某个点,然后开始在 0.02 和 0.09 之间波动?如果是这样,您可能刚刚达到收敛,现在它正在振荡,因为学习率的大小相对于您达到的最小值的大小太大。降低你的学习率,看看它在哪里结束,我猜这一次你会接近 0.02,除非你真的达到了局部最小值,在这种情况下你可能会走低。