在使用许多迭代方法时,无论是求解线性系统,还是在 CFD 中寻找稳态收敛等,残差的半对数图通常会随着残差衰减而显示“驼峰”。这些驼峰通常以规则模式出现(例如,它们之间的迭代次数相同)。我见过一些情况,驼峰之间的山谷可能比驼峰的峰值低几个数量级。
例如,考虑这张残差与迭代计数的图像(只有黑线很重要):
我无法在此处嵌入的另一个示例是此 AIAA 论文中的图 4 。
是什么导致残留物中出现这些驼峰?为什么它们的出现频率有些规律?
在使用许多迭代方法时,无论是求解线性系统,还是在 CFD 中寻找稳态收敛等,残差的半对数图通常会随着残差衰减而显示“驼峰”。这些驼峰通常以规则模式出现(例如,它们之间的迭代次数相同)。我见过一些情况,驼峰之间的山谷可能比驼峰的峰值低几个数量级。
例如,考虑这张残差与迭代计数的图像(只有黑线很重要):
我无法在此处嵌入的另一个示例是此 AIAA 论文中的图 4 。
是什么导致残留物中出现这些驼峰?为什么它们的出现频率有些规律?
当接近解决方案时,这些驼峰出现在优化的上下文中,但我们随后会越过它。
这经常发生在具有动量的梯度下降中,它们经常出现在图上,因为梯度和动量都在幅度上一起衰减。通常这表明动力有点过大,因为我们在达到解决方案时会保持速度。如果每次迭代保留的动量减少得足够多,您就可以让驼峰消失,让迭代平稳下降得更快。