近似误差为$\mathcal{O}(\varepsilon)$， 在哪里$\varepsilon$是有限差分计算中的参数。很高兴知道与拥有完整的 Hessian 相比，这种近似如何影响 CG 迭代的次数？对此有理论/经验上的理解吗？

是的。简而言之，存在 CG 迭代在 Hessian 的有限差分近似上会失败，但在给定解析 Hessian 时会成功的问题。当解析 Hessian 处于病态时，往往会发生这些情况。那么有限差分Hessian往往更是如此。有限差分Hessian是从目标函数的Jacobian和约束的Jacobian推导出来的；尝试通过有限差分计算这些雅可比矩阵可能会导致灾难性的精度损失，因为每次进行有限差分时，您都容易损失至少一半的精度。在Jacobian-free Newton-Krylov 方法中对参考文献进行了详细讨论：方法和应用的调查。

稀疏 Hessian 矩阵与向量的乘积可以用有限差分更好地近似吗？

是的。如果您的函数是分析函数，并且您愿意使用修改代码库的侵入性方法，则可以使用复杂步骤微分。基本上，您必须重写您的函数以获取复值参数，然后您可以使用复杂的步长微分来计算误差更小的导数。