关于条件独立性及其图形表示

机器算法验证 机器学习 贝叶斯 条件概率 协方差 图形模型
2022-03-06 21:15:16

在研究协方差选择时,我曾经读过以下示例。关于以下模型:

在此处输入图像描述

其协方差矩阵和逆协方差矩阵给出如下,

在此处输入图像描述

我不明白为什么的独立性是由这里的逆协方差决定的?xy

这种关系背后的数学逻辑是什么?

另外,下图中的左图声称捕获了之间的独立关系;为什么?xy

在此处输入图像描述

2个回答

逆协方差矩阵可用于计算多元高斯分布的条件方差和协方差。较早的问题提供了一些参考

例如,要在给定值的条件协方差,您将采用逆协方差矩阵的右下角YZX=x

(1113) and re-invert it to (32121212)

这确实给出了的协方差矩阵,其条件是的值。YZX=x

因此,在给定的值的情况下,类似地找到的条件协方差矩阵,您将取逆协方差矩阵的左上角XYZ=z

(1001) and re-invert it to (1001)

告诉您在给定之间的条件协方差(并且它们的每个条件方差均为)。 XYZ=z01

要得出这个零条件协方差意味着条件独立性的结论,您还必须使用这是一个多元高斯的事实(因为通常零协方差不一定意味着独立性)。你从施工中知道这一点。

可以说,您还知道与构造无关的条件独立性,因为您被告知的特定值为条件也是 iid . 如果您知道,则没有其他信息可以帮助您说出的可能值。ϵ1ϵ2Z=zX=z+ϵ1Y=z+ϵ2Z=zXY

这是对正确且已接受的答案的补充。特别是,最初的问题包含一个关于本书陈述的后续问题。

另外,下图中的左图声称捕获了之间的独立关系,为什么? XY在此处输入图像描述

这是此答案中要解决的问题,也是此答案中唯一要解决的问题。

为了确保我们在同一页面上,在下文中,我使用(无向)条件独立图的定义,它(至少大致)对应于马尔可夫随机场:

定义:的条件独立图是无向图其中不在集中当且仅当(其中 表示除之外的所有随机变量的向量。)XG=(K,E)K={1,2,,k}(i,j)XiXj|XK{i,j}XK{i,j}XiXj

从 p。Whittaker 的 60,应用数学多元统计中的图形模型(1990 年)。

在这里,使用亨利在正确的、被接受的答案中给出的论点,我们可以确定的情况下是条件独立的,用符号 _XYZXY |Z

由于仅有的三个随机变量是,这意味着当给定所有其他剩余随机变量(在本例中为X,YZXYZ

之间的边之外,应该包括图中的所有边实际上,这正是该图片右侧图表中显示的内容。XY

关于左图,如果没有更多上下文就不清楚,但我认为这个想法只是为了展示如果我们在逆协方差矩阵的那些条目中没有零的话,条件独立图会是什么样子。

特别是,使用上面的定义,我们可以看到我们可以从节点上的完整图开始,即该图中的左侧图,然后通过删除所有的从第一个图导出条件独立图对应于条件独立随机变量的边。图片确实比较了两个图(“对比”),对我来说,这表明一个可能开始的完整图和一个结束的条件独立图之间的比较如果/当他们应用给定的条件独立图的定义时多于。X,Y,Z