使用近似梯度的非线性优化

计算科学 凸优化 非线性方程
2021-11-25 21:34:21

我正在对成像进行非线性优化,例如 MRI 和 CT。

我们的问题是的形式。A从未明确形成,因此我们仅限于仅使用AxA^Hf 的方法。即便如此,这些评估还是相当昂贵的,而WxW^Tx的计算成本却相当低。Axb22+λWx1AAxAHfWxWTx

我一直在使用非线性共轭梯度 (NCG) 来解决这个问题,但是我的回溯线搜索往往会失败,因为AH不是 A 的精确共轭转置A而是一个近似值。

忽略非线性项并在正规方程上使用共轭梯度,一切都很好,Split-Bregman 算法也是如此。然而,后者比 NCG 慢一个数量级。

我想知道是否有人知道允许梯度(AH(Axf)近似的迭代求解器?

1个回答

如果您的梯度不精确,则不再保证它们是下降方向,因此任何同时使用函数值和梯度(通过线搜索或信任区域)并因此依赖于该属性的算法迟早会遇到问题。

另一方面,拆分方法允许不精确的评估,并且可以与外推和预处理相结合以提高收敛性。您的问题的经典 Chambolle-Pock 算法(它是 Douglas-Rachford 分裂的一种变体,可以解释为近点算法)可以写成

  1. xk=xk1τ(WTzk1+ATyk1)
  2. x¯k=2xkxk1
  3. yk=11+σ(yk1+σ(Ax¯kb))
  4. wk=zk1+σWx¯k
  5. zk=λwkmax{λ,|wk|}

其中步长应满足第 3 步和第 5 步分别对应于范数和范数的近端映射。στ<A2+W2l2l1

Bredies 和 Sun在本预印本中讨论了预调节器,其中在备注 2.2 之后讨论了正规方程的不精确解的情况(这不是您要问的问题,但允许错误从下面保持有界)。K=(A,W)T

通常,只要近端映射的评估误差保持可求和(即,随着迭代的进行,评估必须足够快地变得准确),近端点方法就会收敛,例如参见http://arxiv.org/pdf/1109.2415v2 .pdf和其中的参考资料。