当使用异步超参数优化包,如 scikit optimize 或 hyperopt 交叉验证(例如,cv = 2 或 4)并将迭代次数设置为 N(例如,N=100)时,我应该期望:
- 损失值顺序提高的顺序迭代之间的依赖性(例如,第 10 次迭代中的优化超参数优于第 9 次迭代中生成的优化超参数等)。在这种情况下,我应该始终使用上次迭代中生成的超参数进行选择。
或者
- 期望迭代之间的独立性,在完成所有 100 次迭代后,我应该选择具有最小损失值的迭代。
如果选项 a) 是正确答案,如果最佳超参数与迭代 50 相关联,这意味着什么,是否意味着数据不稳定,或者损失函数指定不正确,因此,超参数优化过程结果不应该被信任?