当我们测试一个新的优化算法时,我们需要做哪些过程?例如,我们是否需要多次运行该算法,并选择一个最好的性能,即在准确度、f1 分数等方面,然后做对于旧的优化算法也是如此,还是我们需要计算平均性能,即这些运行的准确性或 f1 分数的平均值,以表明它比旧的优化算法更好?因为当我阅读有关新优化算法的论文时,我不知道他们如何计算性能并绘制 train-loss vs iters 曲线,因为它具有随机效应,并且对于不同的运行,我们可能会得到不同的性能和不同的曲线. 那么我们是比较最佳性能还是平均性能呢?
我们如何得出一个优化算法比另一种更好的结论
数据挖掘
算法
优化
表现
收敛
2022-02-15 02:45:48
1个回答
只要有可能,您应该在比较不同方法时使用平均性能,甚至最好提及不同运行的标准偏差(请参阅此问题以了解为什么有时它很重要)。提供最佳性能也很好,理想情况下,您甚至可以展示不同方法的箱线图比较。
真正不可接受的是将一种方法的最佳性能与另一种方法的平均性能进行比较(这应该不言而喻,但我记得有一篇论文作者很乐意这样做,以使他们的方法看起来更好)。
其它你可能感兴趣的问题