机器算法验证 - Cholesky分解和矩阵求逆的关系？ - 吾爱随笔录

机器算法验证协方差高斯过程矩阵分解逆矩阵胆汁分解

2022-02-11 20:48:37

我一直在审查高斯过程，据我所知，是否应该通过矩阵求逆来完成需要反转的“协方差矩阵”（由内核返回）是否应该通过矩阵求逆来完成（昂贵且数值不稳定）或通过Cholesky 分解。

我对 Cholesky 分解很陌生，我开始明白它类似于标量的平方根。同样，矩阵的逆类似于除以标量（例如，当您将相乘时，返回单位矩阵，类似于。） $A * A^{-1} = I$ $5/5 = 1$

我正在努力建立联系——协方差矩阵的 Cholesky 分解与协方差矩阵的逆矩阵之间有什么关系？是否需要额外的步骤来巩固解决方案的等效性？

1个回答

高斯过程模型通常涉及计算一些二次形式，例如其中是正定的，是适当维度的向量，我们希望计算标量。通常，由于成本或精度损失，您不想直接计算使用 Cholesky 因子的定义，我们知道。因为是 PD，所以的对角线也是正的，这意味着是非奇异的。在这个说明中，是下三角形。

y = x^{⊤} Σ^{- 1} x

$y = x^\top\Sigma^{-1}x$

Σ

$\Sigma$

x

$x$

y

$y$

Σ^{- 1}

$\Sigma^{-1}$

L

$L$

Σ = L L^{⊤}

$\Sigma=LL^\top$

Σ

$\Sigma$

L

$L$

L

$L$

L

$L$

我们可以重写

\begin{aligned} y & = x^{⊤} (L L^{⊤})^{- 1} x \\ = x^{⊤} L^{- ⊤} L^{- 1} x \\ = (L^{- 1} x)^{⊤} L^{- 1} x \\ = z^{⊤} z \end{aligned}

$\begin{align} y &= x^\top(LL^\top)^{-1}x \\ &= x^\top L^{-\top}L^{-1}x \\ &= (L^{-1}x)^\top L^{-1}x \\ &= z^\top z \end{align}$

第一行到第二行是矩阵逆的基本性质。第二到第三行只是重新排列转置。最后一行将其重写为向量点积的表达式，这很方便，因为我们只需要计算。 $z$

三角矩阵的好处是它们求解起来非常简单，所以我们实际上从不计算；相反，我们只使用的正向替换，与直接计算逆相比非常便宜。 $L^{-1}x$ $Lz=x$

其它你可能感兴趣的问题