在几何上，缩放和预处理似乎解决了优化中的类似挑战。但是，这两个概念的实现方式非常不同。以信任域牛顿法为例。当问题难以扩展时，建议使用椭圆信任区域。是否可以制定一种等效的基于预处理器的方法，以便使用球形信任区域？
更新：Gill、Murray 和 Wright 在 Practical Optimization 中的第 7.5 节给出了变量缩放和预处理粗麻布之间的明确联系。
信任域牛顿法的缩放和预处理
计算科学
优化
数值分析
牛顿法
信任区域
2021-12-13 05:56:24
1个回答
这些想法肯定是相关的，至少如果您的预处理器对应于对称和正定矩阵。这是因为在这种情况下，预处理仅仅意味着使用不同的内积，即不同的度量。这可以解释为，在通常情况下，什么是一个非常细长的椭圆体度量可能会更接近于预处理器度量中的一个球体。这张图片是有效的，因为 SPD 预处理器的应用可以解释为旋转、轴平行缩放和反向旋转。
如果您使用与不定矩阵或非对称矩阵相对应的预条件子，则图片的解释变得不太清楚，因为这些矩阵不再被解释为度量的简单变化。