机器算法验证 - 总协方差定律的解释 - 吾爱随笔录 - 问答

总协方差定律的解释

机器算法验证可能性协方差方差分解

2022-03-17 08:12:42

让 $X,Y,Z$ 是在相同概率空间上定义的随机变量，并让协方差 $X$ 和 $Y$ 是有限的，那么总协方差定律/协方差分解公式说明：

\begin{aligned} Cov (X, Y) = \underset{(i)}{\underset{⏟}{E [Cov (X, Y | Z)]}} + \underset{(ii)}{\underset{⏟}{Cov [E (X | Z), E (Y | Z)]}} \end{aligned}

$\begin{align} \text{Cov}(X,Y)=\underbrace{\mathbb{E}\big[\text{Cov}(X,Y\lvert Z)\big]}_{\text{(i)}}+\underbrace{\text{Cov}\big[\mathbb{E}(X\lvert Z),\mathbb{E}(Y\lvert Z)\big]}_{\text{(ii)}} \end{align}$ 的解释是什么

(i)

$\text{(i)}$ 和

(ii)

$\text{(ii)}$ ?

我的想法：在（ii）中，两个条件期望本身可以看作是随机变量，我也知道这是总方差定律/方差分解公式的推广，可以通过设置来表示 $X=Y$ ，其中解释是一个变化的解释 $Y$ 解释为 $Z$ 并且无法解释 $Z$ . 但是，对于 (i) 和 (ii)，上述协方差公式的正确解释是什么？维基百科提供了一个不太令人满意的简短描述。

2个回答

第一项（一）： $E[\operatorname{cov}(X,Y|Z)]$

考虑到 $\operatorname{cov}(X,Y)$ 作为一个函数 $Z$ . 当你检查不同的值 $Z$ ，您将相应地得到一个值 $\operatorname{cov}(X,Y)$ . 期望只是对这些不同的协方差进行平均 $Z$ .

第二项（ii）： $\operatorname{cov}([E[X|Z],E[Y|Z])$

考虑到 $E[X|Z]$ 和 $E[Y|Z]$ 作为函数 $Z$ . 当你检查不同的值 $Z$ ，您将相应地得到一个值 $E[X|Z]$ 和一个价值 $E[Y|Z]$ 同时实现。因此，对于每一个值 $Z$ , 你会得到一个 $(X, Y)$ 协调。该术语只是所有这些坐标点的协方差。

分层框架中的另一种可能解释是对总协方差的简单分解 $\operatorname{cov}(X,Y)$ 分为两个方面：

组内（ $E[\operatorname{cov}(X,Y|Z)]$ ）和
组间 $\operatorname{cov}([E[X|Z],E[Y|Z])$

协方差。在这个例子中，第一项表示协方差的平均值 $X$ 和 $Y$ 对每个组进行评估，而第二项是组平均值的协方差 $X$ 和 $Y$ .

其它你可能感兴趣的问题

上一篇如何从非负整数的离散分布中采样？下一篇基于马尔可夫链的采样是蒙特卡洛采样的“最佳”吗？有替代方案吗？