计算科学 - 比较 Jacobi 和 Gauss-Seidel 方法的非线性迭代 - 吾爱随笔录

比较 Jacobi 和 Gauss-Seidel 方法的非线性迭代

计算科学非线性方程收敛

2021-12-06 00:16:54

众所周知，对于某些线性系统，Jacobi 和Gauss-Seidel迭代方法具有相同的收敛行为，例如 Stein-Rosenberg 定理。我想知道非线性迭代是否存在类似的结果，其中在步骤上的 Jacobi 迭代，比如，被定义为 $k$ $\mathbb{R}^n$

x_{i}^{k + 1} = F_{i} (x_{1}^{k + 1}, \dots, x_{i - 1}^{k + 1}, x_{i}^{k}, \dots, x_{n}^{k}),

$x_i^{k+1}=F_i(x_1^{k+1},\cdots,x_{i-1}^{k+1},x_i^k,\cdots,x_n^k),$

Gauss-Seidel 迭代定义为

x_{i}^{k + 1} = F_{i} (x_{1}^{k}, \dots, x_{n}^{k})

$x_i^{k+1}=F_i(x_1^k,\cdots,x_n^k)$

对于，我们有一组非线性函数。 $i=1,\cdots,n$ $F_i(\cdot): \mathbb{R}^n\to\mathbb{R}$

1个回答

这篇论文（http://www.dcs.bbk.ac.uk/~gmagoulas/APNUM.PDF）似乎与您的问题有关。

编辑（一年多后）：上面的论文是 Vrahatis 等人（2003 年）的“从线性到非线性迭代方法”。它们的主要应用是神经网络训练，但它们也为一些经典优化问题提供了一些结果。

与该问题相关的部分是定理 1 和 2。定理 1 指出，如果周围的开放邻域中是两次可微的，并且 Hessian (of )是正定的如果初始猜测足够好，则属性 A，则的非线性 Jacobi 迭代收敛到定理 2 表明，如果在开放邻域中是两次可微的，则非线性 SOR 方案将收敛于任何足够接近的初始猜测 $f$ $x^*$ $f$ $H(x^*)$ $f$ $x^*$ $x_0$ $x_0$ $f$ $S_0$ 在最小化器周围 $x^*$ .

作为进一步的总结，这两种方法都是局部收敛的，因为函数很好，而且你有一个很好的初始猜测。

除了对开发全局收敛算法的一些建议外，本文还提供了进一步的结果。但是，请注意，这篇特定的论文发表于 2003 年，因此现在最先进的技术更加先进，我没有进行彻底的审查。

其它你可能感兴趣的问题

上一篇是否正在转型Ĵ0( x ) → ∫因( x罪θ )J0(x)→∫cos⁡(xsin⁡θ)帮助数值积分？下一篇是否有任何开源的基于逆的多级 ILU 实现？