计算科学 - 牛顿法的连续类似物 - 吾爱随笔录

假设我们想最小化一些凸泛函 $J(u)$ 在哪里 $u$ 住在一些巴拿赫空间 $V$ . 经典牛顿法

d^{2} J (u_{n}) (u_{n + 1} - u_{n}) = - d J (u_{n})

$\mathrm d^2J(u_n)(u_{n + 1} - u_n) = -\mathrm dJ(u_n)$

可以看作是动力系统的显式欧拉离散化

τ d^{2} J (u) \frac{d u}{d t} = - d J (u),

$\tau\;\mathrm d^2J(u)\frac{\mathrm du}{\mathrm dt} = -\mathrm dJ(u),$

这需要一个恒定的时间步长 $\tau$ 步步。您可以将原始阻尼牛顿法视为采用一个时间步长，该时间步长为 $\tau$ ，以及全局收敛牛顿线搜索方法，使用可变时间步长进行调整，以确保目标减小。几篇论文对此发表了评论（见下文）。

是否有基于将牛顿法视为动力系统的改进的实用解决方法？ 例如，如果不是在每次迭代中进行线搜索，而是使用带有步长控制的经典自适应龙格库塔方法（如 RK-1/2 或类似方法），会发生什么情况？更一般地说，这种动力系统观点是否在某些方面具有实际相关性，或者它只是一种数学好奇心？

参考：