超参数和验证集

数据挖掘 机器学习 交叉验证 超参数 超参数调整
2021-09-24 07:09:08

如果我错了,请纠正我。“训练集用于计算机器学习模型的参数,验证数据用于计算同一模型的超参数(我们使用相同的权重和不同的超参数),测试集用于评估我们的模型”。如果属实,有人可以更详细地解释整个过程。TIA。

1个回答

不完全正确。在验证集中,我们找到了最好的超参数,但不是与模型的相同参数。也就是说,对于超参数的每个值,我们运行训练过程并获得该组超参数的损失,并且我们选择具有最低验证损失的超参数值。

编辑

岭回归示例:岭回归取决于​​一个参数,λ,这会惩罚您的模型权重。岭回归只有一个超参数。由于岭回归是一个线性模型,它也有一些权重θ0,,θn(参数)进行训练。继续选择的方式λθ0,,θn如下:

  • 对于每个值λ在一个网格中,我们通过梯度下降训练岭回归模型(从而优化训练损失)并获得一组参数θ0,,θn. 我们测量了验证集中训练好的岭模型的损失。
  • 我们选择λ最小化验证集和参数中的损失θ0,,θn. 如果我们愿意,并且我们没有太多数据,我们可以用最优的数据重新训练岭模型λ在训练集和验证集的串联中,获取一些参数θ^0,,θ^n.
  • 我们使用在最后一步中获得的参数计算测试误差,并将其报告为模型误差的最现实值。