在我的优化问题中,hessian 的结构可以写成两个矩阵的和。填充第一个矩阵是有效的。填充第二个在计算上非常繁重,实际上使截断牛顿之类的方法毫无用处。然而,第二个矩阵本质上是块对角线。我想我将对第二个矩阵使用准牛顿近似并精确计算第一个矩阵。因此,通过添加这两个矩阵得到粗麻布的近似值。直观地说,这种 Hessian 近似应该比对整个 Hessian 矩阵使用 Quasi-Newton 近似更好。这种想法正确吗?人们以前是否成功地尝试过这种方法并获得了比直接基于准牛顿的方法更好的优化方法?
对近似 Hessian 的原则方法的怀疑
计算科学
线性代数
优化
凸优化
牛顿法
准牛顿
2021-12-16 07:28:58
1个回答
你可能会发现这篇论文很相关。他们提供了一些受 BFGS 启发的方法和收敛证明,适用于 Hessian 是您可以轻松计算的部分和您无法计算的部分的总和(“结构化割线”方法),并且您希望利用您对可计算的知识尽可能多的部分。