我已经为我的问题实现了一个准牛顿方法，我使用了基于 Hessian 矩阵近似的方法。因此，每次迭代都有一个线性系统求解。我使用共轭梯度求解线性系统，并使用准牛顿矩阵的表示及其在有限内存方法中的使用中给出的紧凑表示得到矩阵向量积。我注意到线性系统的求解次数非常少，通常是 20 到 30 次。即使是非常大的问题（一百万个变量）也会发生这种情况。在使用 Quasi Newton 时通常会观察到这种情况吗？我可以想到这种快速收敛的一个可能原因。因为，我确保了准牛顿向量对的曲率条件，保证了 Hessian 近似是严格正定的，并且共轭梯度中的二次形式具有“良好”的形状。我不确定这是否足以解释正在发生的事情。
编辑：根据下面接受的答案，我有这个问题。Quasi Newton 方法中的情况非常有趣，可以证明线性系统可以在非常少的迭代次数内求解。是否有许多作品在这方面得到了有利的利用？