计算科学 - 协方差矩阵和偏导数之间是否存在关系？ - 吾爱随笔录

协方差矩阵和偏导数之间是否存在关系？

计算科学统计数据数据分析结石

2021-12-11 14:36:28

假设有 $N$ 数据片段，每个数据包含 $M$ 参数值使得 $N >> M$ . 如果我们把这些信息变成矩阵形式（ $N$ 行， $M$ 列），然后计算该数据的协方差矩阵， $C$ ，那么我们可以认为 $C_{i,j}$ 是参数之间的协方差 $i$ , $p_i$ , 和参数 $j$ , $p_j$ .

我一直认为这是“金额 $p_i$ 如果会改变 $p_j$ 改变了 1"。虽然这可能不完全正确（正确吗？），但至少有一个基本的关系 $p_i$ 和 $p_j$ 这反映在 $C_{i,j}$ 并且可以考虑如果 $C_{i,j} = 0$ ，那么就没有根本关系，一个的变化不一定反映另一个的变化。

现在，考虑 $\frac{\partial{p_i}}{\partial{p_j}}$ ，这是变化量 $p_i$ 由于一个小的变化 $p_j$ 如果两者之间没有关系，这个偏导数将再次为零 $p_i$ 和 $p_j$ .

有没有可能以任何方式考虑， $C_{i,j} \approx \frac{\partial{p_i}}{\partial{p_j}}$ ? 是否存在这种情况或这两项措施之间的任何其他关系？

1个回答

让 $\mathbf{\theta}$ 是具有均值的高斯随机向量 $\mathbf{\mu}$ 和协方差矩阵 $\mathbf{\Sigma}_\mathbf{\theta}$ . 让 $\mathbf{p}_\theta$ 表示联合 PDF。

让 $J_\mathbf{\theta}$ 是目标函数，作为它的负对数：

J_{θ} = - l n (p_{θ})

$J_\mathbf{\theta}=-ln(\mathbf{p}_\theta)$

通过取偏导数 $\theta_d$ 和 $\theta_{d'}$ ，这 $(d,d')$ 可以得到 Hessian 的分量：

H^{(d, d^{'})} (μ) = \frac{\partial J (θ)}{\partial θ_{d} \partial θ_{d^{'}}} |_{θ = μ} = (Σ_{θ}^{- 1})^{(d, d^{'})}

$H^{(d,d')}(\mathbf{\mu})=\frac{\partial{J(\theta)}}{\partial{\theta_{d}}\partial{\theta_{d'}}}\Bigr|_{\theta=\mu}=(\mathbf\Sigma^{-1}_{\theta})^{(d,d')}$

在这种情况下，Hessian 矩阵等于协方差矩阵的逆矩阵：

H (μ) = Σ_{θ}^{- 1}

$H(\mu)=\mathbf\Sigma^{-1}_{\theta}$

请注意，这是以平均值评估时的情况。然而，对于高斯随机变量， $J_\mathbf{\theta}$ 对所有人都是恒定的 $\theta$ 因为二次元的性质。因此，无需获得均值向量即可计算 Hessian 矩阵 $\mathbf{\mu}$ . Hessian 矩阵中的元素也带有关于随机向量的有价值的几何信息，例如曲率和条件方差等。

其它你可能感兴趣的问题