BFGS 中的低秩更新

计算科学 优化 牛顿法 准牛顿
2021-11-30 21:53:56

我已经在 BFGS 上阅读了此站点上的主题和其他主题,但我仍然不清楚低级别更新的含义。

例如,我在这本书中读到了以下内容:

准牛顿方法(其中最突出的BFGS算法)采用的方法是近似Hessian H的逆,用一个矩阵Mt通过低秩更新迭代细化以成为H1

什么是低等级更新?它与高级更新有何不同?

2个回答

n × n矩阵A的低秩更新A是以下形式的更新

A=A+UUT

其中U是具有n行但列很少(通常只有一两列)的矩阵。如果矩阵UUTk列,那么它的秩最多为k ,所以这是对Ak的低秩更新矩阵。 A

低秩更新在计算线性代数和优化中很重要,因为您可以在低秩更新后更新矩阵的 LU 或 Cholesky 分解,而无需从头开始分解更新的矩阵。

补充布赖恩的答案。低秩更新背后的想法是找到“足够好”的近似值,从而节省计算资源。BFGS 方法通过强制执行真实粗麻布的属性(例如对称性等)来逼近具有低秩更新的粗麻布。您还可以每隔一定数量的迭代进行一次完全更新,并对剩余的迭代进行一次低秩更新。