计算科学 - 多元正态分布 PDF 上的梯度下降 - 吾爱随笔录

我想在多元正态概率密度函数下执行样本概率的梯度下降优化。为方便起见，我在此处声明 PDF：

N (μ, Σ) = (2 π)^{- \frac{k}{2}} | Σ |^{- \frac{1}{2}} e^{- \frac{1}{2} (x - μ)^{'} Σ^{- 1} (x - μ)}

$\mathcal{N}(\boldsymbol\mu,\,\boldsymbol\Sigma) = (2\pi)^{-\frac{k}{2}}|\boldsymbol\Sigma|^{-\frac{1}{2}}\, e^{ -\frac{1}{2}(\mathbf{x}-\boldsymbol\mu)'\boldsymbol\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu) }$

对于零均值和单位协方差的特殊情况，该模型下样本的概率由下式给出

p (\vec{x}) = \frac{1}{(2 π)^{- n / 2}} \prod_{i = 1}^{n} e^{- \frac{x_{i}^{2}}{2}}

$p(\vec{x}) = \frac{1}{(2\pi)^{-n/2}}\prod_{i=1}^n e^{-\frac{x_i^2}{2}}$

其中是中的条目数。是每次迭代中样本在 PCA 模型上的投影，因此实际上应该被视为一组不同变量的函数，这些变量对原始问题进行了参数化。此外，我想使用概率的对数来实现数值稳定性。总而言之，我正在寻找衍生物 $n$ $\vec{x}$ $\vec{x}$ $\vec{y}$

\frac{d}{d \vec{y}} \log p (\vec{x (\vec{y}})) = \frac{d}{d \vec{y}} \log \frac{1}{(2 π)^{- n / 2}} \prod_{i = 1}^{n} e^{- \frac{\vec{x_{i} (\vec{y}})^{2}}{2}}

$\frac{d}{d\vec{y}}\log p(\vec{x(\vec{y}})) = \frac{d}{d\vec{y}}\log \frac{1}{(2\pi)^{-n/2}}\prod_{i=1}^n e^{-\frac{\vec{x_i(\vec{y}})^2}{2}}$

这就是我卡住的地方。非常感谢帮助和指点。所以我的问题是：

(1) 这种推导梯度下降成本函数的方法是否正确？

(2) 导数是什么？