模型训练期间的准确噪声模式

数据挖掘 机器学习 逻辑回归 训练 超参数
2022-03-13 08:51:46

我正在一个小数据集上训练逻辑回归模型。我有大约 1300 个样本,分为训练集和测试集(分别为 70% 和 30%)。

训练似乎没问题,但是当我绘制模型在 epoch 上的准确度时,在准确度稳定后(800 epoch 后,见下图),最后会出现一些重复的噪声模式。

训练是使用 Adam 优化器完成的。我使用的是 0.04 的学习率和 0.07 的权重衰减,这是我在进行随机搜索后发现的。

这是培训时可能发生的事情并且没有后果,还是反映了我的数据/培训/软件实施的问题?

在此处输入图像描述

在此处输入图像描述

1个回答

很可能在你的训练阶段你达到了局部最小值,然后因为你在每个时期都“坚持”了你的观点,然后在 800 个时期之后你又达到了它。

看下面的图片,想象你到达蓝点,但你一直坚持,寻找另一个点,然后你会偏离你的轨道,但它最终会回来。逻辑回归中的模式将更加清晰,因为理论上您将梯度下降应用于比复杂神经网络更简单的函数。

在此处输入图像描述