如何解释逆协方差或精度矩阵?
基本上有两件事要说。首先,如果您查看多元正态分布的密度(此处均值为 0),它与 $$\exp\left(-\frac{1}{2}x^TP x\right)$$ 成正比其中 $P = \Sigma^{-1}$ 是协方差矩阵的逆矩阵,也称为精度。这个矩阵是正定的,并且通过 $$(x,y) \mapsto x^TP y$$ 定义了$\mathbb{R}^p$ 上的内积。生成的几何图形赋予正交性的概念以特定含义并定义了与正态分布相关的范数,这一点很重要,例如,要理解LDA的几何内容,您需要根据给定的几何图形来查看事物由 $P$。
要说的另一件事是,可以直接从 $P$ 中读取偏相关性,请参见此处。同一个 Wikipedia 页面给出了偏相关性,因此 $P$ 的条目在余弦到角度方面具有几何解释。在偏相关的上下文中,也许更重要的是,当且仅当 $P$ 中的条目 $i,j$ 为零时,$X_i$ 和 $X_j$ 之间的偏相关为 0。对于正态分布,变量 $X_i$ 和 $X_j$ 在给定所有其他变量的情况下是条件独立的。这就是我在上面评论中提到的 Steffens 书的全部内容。条件独立和图形模型。它对正态分布进行了相当完整的处理,但可能并不那么容易理解。
我喜欢这个概率图形模型来说明 NRH 的观点,即当且仅当X 有条件地独立于给定 Z 的 Y时,偏相关为零,并假设所有涉及的变量都是多元高斯的(该属性在一般情况下不成立) :
($y_i$ 是高斯随机变量;忽略 T 和 k)
资料来源:David MacKay 关于高斯过程基础的演讲,第 25 分钟。
基于偏相关的解释可能在统计上最有用,因为它适用于所有多元分布。在多元正态分布的特殊情况下,零偏相关对应于条件独立。
您可以通过使用 Schur 补码来得出此解释,以根据协方差矩阵的条目获得浓度矩阵的条目公式。见http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics
协方差矩阵可以表示所有变量之间的关系,而逆协方差显示元素与其邻居的关系(正如维基百科所说的部分/成对关系)。
我在 24:10从这里借用以下示例。想象一下 5 个质量块连接在一起并用 6 个弹簧四处发声。协方差矩阵将包含所有质量的相关性,如果一个正确,其他人也可以正确,但是逆协方差矩阵显示了由相同弹簧(邻居)连接的那些质量的关系,它包含许多零,它不是必要的正面。