我有一个数据集，分为训练数据集和验证数据集。我正在使用高斯过程来执行超参数优化。所以我使用验证数据集上记录的准确度来调整 DNN 模型的超参数。这算作弊吗？最后报告的结果是否可信？
任何帮助深表感谢！！
使用高斯过程的超参数优化
机器算法验证
神经网络
高斯过程
超参数
2022-03-23 21:51:45
1个回答
作为这样做的结果，您还将过度拟合验证集（您调整超参数越多 - 如果您尝试了两种或三种配置，效果会小于您进行一些系统搜索，例如使用高斯过程方法） . 对此的标准解决方案不仅是有一个训练和验证集，还有第三个集（一个测试集）。在超参数调优后，你只会和你的最终模型一起看一次测试集。