如果你有一个合理的 Hessian 近似值，最好使用它而不是任意的$B_0=I$.

编辑：理由是，如果您开始接近解决方案$x^*$，初始收敛速度是（对于任何$r>0$)$r+1$-步线性与$r+1$-步收敛因子$q=\|B_0^{-1}f''(x^*)-G\|$如果对于单位矩阵的某个秩r校正G ，这<1 。因此，尝试将其缩小是非常有价值的。（这相当于对系统进行预处理。）收敛因子随着时间的推移而提高并最终接近于零（超线性收敛），但在许多实际问题（尤其是高维问题）中，人们永远不会进行足够的迭代以达到超线性状态。因此，初始速度非常重要。$<1$$r$$G$

一个重要的情况是在求解非线性最小二乘问题时（最小化），其中初始 Hessian 的高斯-牛顿近似可以是无需二阶导数即可计算。使用它使BFGS方法仿射不变量，即像牛顿法一样$\|F(x)\|_2^2$$B_0=F'(x_0)^TF'(x_0)$$x$

另一个重要的案例是当您解决一系列相关问题时。通常，使用前一个问题的最终 Hessian 近似重新启动求解器会显着减少所需的迭代次数。