机器算法验证 - 对矩阵中的参数进行二次形式的导数 - 吾爱随笔录

对矩阵中的参数进行二次形式的导数

机器算法验证衍生物矩阵演算

2022-03-23 02:13:34

我想计算以下的导数：

$\frac{\partial y^T C^{-1}(\theta)y}{\partial \theta_{k}}$ ,

（请注意，C 是一个协方差矩阵，取决于一组参数） $\theta$

我使用了链式法则：。 $\frac{\partial y^T C^{-1}(\theta)y}{\partial \theta_{k}}= \frac{\partial y^T C^{-1}(\theta)y}{\partial C(\theta) } \frac{\partial C(\theta) }{\partial \theta_{k}}$

使用当量。来自 Matrix Cookbook 的 61 ( http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3274/pdf/imm3274.pdf ) 我得到：

$\frac{\partial y^T C^{-1}(\theta)y}{\partial \theta_{k}}= \left[-C^{-1}(\theta)y y^{T}C^{-1}(\theta) \right]\frac{\partial C(\theta) }{\partial \theta_{k}}$ 。

但是，这会导致矩阵乘以矩阵，并且我必须获得一个标量，我无法弄清楚我的推导在哪里出错。

2个回答

为了打字方便，定义注意是对称矩阵. 另请注意，最终表达式中的冒号只是跟踪函数的一种方便（Frobenius 乘积）表示法。

\begin{aligned} Y & = y y^{T}, A = C^{- 1}, J = \frac{\partial C}{\partial θ} \\ λ & = y^{T} C^{- 1} y = T r (Y^{T} A) = Y : A \end{aligned}

$\eqalign{ Y &= yy^T,\,\,\,\, A=C^{-1},\,\,\,\, J = \frac{\partial C}{\partial\theta} \cr \lambda &= y^TC^{-1}y = {\rm Tr}(Y^TA)= Y:A \cr }$

(A, C, Y)

$(A,C,Y)$

迹线的循环特性允许以多种方式重新排列 Frobenius 乘积的项。例如，以下所有表达式都是等价的要找到首先要找到它的微分

\begin{aligned} A : B C & = B C : A \\ = A^{T} : (B C)^{T} \\ = B^{T} A : C \\ = A C^{T} : B \end{aligned}

$\eqalign{ A:BC &= BC:A \cr &= A^T:(BC)^T \cr &= B^TA:C \cr &= AC^T:B \cr }$

\frac{\partial λ}{\partial θ}

$\,\frac{\partial\lambda}{\partial\theta}\,$

\begin{aligned} d λ & = Y : d A \\ = - Y : A d C A \\ = - A Y A : d C \\ = - A Y A : J d θ \\ \frac{\partial λ}{\partial θ} & = - A Y A : J \\ = - T r (C^{- 1} y y^{T} C^{- 1} \frac{\partial C}{\partial θ}) \end{aligned}

$\eqalign{ d\lambda &= Y:dA \cr &= -Y:A\,dC\,A \cr &= -AYA:dC \cr &= -AYA:J\,d\theta \cr \frac{\partial\lambda}{\partial\theta} &= -AYA:J \cr &= -{\rm Tr}\Big(C^{-1}yy^TC^{-1}\frac{\partial C}{\partial\theta}\Big) \cr\cr }$ 这与您在 Matrix Cookbook 中找到的内容一致，只是您应该在链式法则中使用 Frobenius 乘积而不是常规矩阵乘积。

对于矩阵微积分问题，我发现使用微分比使用链式法则更容易。对于很多问题，链式法则所需的中间量是三阶和四阶张量，它们很难理解，甚至更难计算。

我猜正确的链式法则是

\frac{\partial y^{T} C^{- 1} (θ) y}{\partial θ_{k}} = \sum_{i, j} \frac{\partial y^{T} C^{- 1} (θ) y}{\partial C_{i, j} (θ)} \frac{\partial C_{i, j} (θ)}{\partial θ_{k}} = T r [(\frac{\partial y^{T} C^{- 1} (θ) y}{\partial C (θ)})^{T} (\frac{\partial C (θ)}{\partial θ_{k}})]

$\frac{\partial y^T C^{-1}(\theta)y}{\partial \theta_k} = \sum_{i, j} \frac{\partial y^T C^{-1}(\theta)y}{\partial C_{i,j}(\theta)} \frac{\partial C_{i,j}(\theta)}{\partial \theta_k} = Tr\Big[\Big(\frac{\partial y^T C^{-1}(\theta)y}{\partial C(\theta)}\Big)^T \Big(\frac{\partial C(\theta)}{\partial \theta_k}\Big) \Big]$

在哪里 $Tr(A) = \sum_i a_{i,i}, A \in \Re^{n \times n}$ 是一个跟踪函数。

其它你可能感兴趣的问题

上一篇为什么不使用模数来表示方差？下一篇SVM：为什么当 C 增加时支持向量的数量会减少？