使用 Shermann-Morrison 的矩阵逆增量解Ø (n2)O(n2)

机器算法验证 机器学习 强化学习 线性代数 逆矩阵
2022-03-25 14:55:46

我一直在阅读 David Silver 的关于价值函数逼近的演讲(强化学习课程简介)。在第 43 页,他找到了未知参数向量的线性最小二乘法的解决方案w. 他声称,对于N特征,反转矩阵是O(N3),但是使用 Sherman-Morrison 算法的增量解决方案,复杂度为O(N2)是可能的(见图)。由于Sherman-Morrison 公式允许计算可逆矩阵之和的逆A和外部产品,uvT, 的向量uv,我真的不明白这也适用于这种情况。

1个回答

在线性回归的背景下,估计β给定参数(XTX)1XTy. 该公式中的主要计算负担是矩阵的求逆A=XTX. 在批量学习的用例中,我们已经估计了A以及对于A1=(XTX)1从我们之前的迭代。当我们得到另一批时,我们可以研究如何将其表示为A形式为Anew=A+uvT. 请注意,额外的样本/批次将扩展X连续但它会离开A与以前的尺寸相同。因此,我们有Anew1=(A+uvT)1=A1A1uvTA11+vTA1u.