当我们测试一个新的优化算法时,我们需要做哪些过程?例如,我们是否需要多次运行该算法,并选择一个最好的性能,即在准确度、f1 分数等方面,然后做对于旧的优化算法也是如此,或者我们是否需要计算平均性能,即这些运行的准确性或 f1 分数的平均值,以表明它比旧的优化算法更好?因为当我阅读有关新优化算法的论文时,我不知道他们如何计算性能并绘制 train-loss vs iters 曲线,因为它具有随机效应,并且对于不同的运行,我们可能会得到不同的性能和不同的曲线.
我们如何得出一个优化算法比另一种更好的结论
人工智能
优化
收敛
表现
超参数优化
2021-10-31 08:04:24
1个回答
请参阅此处了解可能的方法:
http://infinity77.net/global_optimization/#motivation-motivation
http://infinity77.net/global_optimization/#rules-the-rules
您基本上针对已知的目标函数测试两个(或更多)优化算法,具有几个随机(但可重复)的起点,然后分析结果。