机器算法验证 - 直觉（几何或其他）五r ( X _) = Vr ( E _[ X| 是] ) + E[五r ( X _| 是) ]Var(X)=Var(E[X|Y])+E[Var(X|Y)] - 吾爱随笔录

直觉（几何或其他）五r ( X _) = Vr ( E _[ X| 是] ) + E[五r ( X _| 是) ]Var(X)=Var(E[X|Y])+E[Var(X|Y)]

机器算法验证方差直觉

2022-03-25 03:22:58

\begin{array}{rcl} V a r (X) & = & E [V a r (X | Y)] + V a r (E [X | Y]) \end{array}

$\begin{eqnarray} \rm{Var}(X) &=&\rm{E}[\rm{Var}(X|Y)] + \rm{Var}(E[X|Y]) \end{eqnarray}$

这是一个简单直接的代数操作，将矩的定义转化为求和，或者，如维基百科链接中的那样，通过对 E 和 Var 的操作。

但是这个身份，我不知道是什么意思。我想这意味着您大概可以使用另一个变量来帮助计算一个变量的方差，但它看起来并没有简化事情或使事情更容易处理。

维基页面说

第一个分量称为过程方差的期望值 (EVPV)，第二个分量称为假设均值的方差 (VHM)

这就像读名字一样具有启发性。

那么它的真正含义是什么？对这两个部分有直觉吗？你首先需要的直觉吗？几何直觉可能很好，但冗长的解释、小代数也会有很大帮助。 $E[E[X|Y]] = E[X]$

是否有任何好的线性代数解释或物理解释或其他可以洞察这个身份的？

1个回答

为了获得一些简单的直觉，我们将与方差的双向分析进行比较。让 $Y_{ij} = \mu_i +\epsilon_{ij}$ 在哪里 $\epsilon_{ij}$ 具有期望零和共同方差的独立同分布 $\sigma^2$ , $i=1,\dotsc,k; j=1,\dotsc,n_i$ .

然后我们进行分解

\sum_{i = 1}^{k} \sum_{j = 1}^{n_{i}} (Y_{i j} - \bar{\bar{Y}})^{2} = \sum_{i = 1}^{k} \sum_{j = 1}^{n_{i}} (Y_{i j} - \bar{Y_{i}})^{2} + \sum_{i = 1}^{k} n_{i} ((\bar{Y_{i}} - \bar{\bar{Y}})^{2}

$\sum_{i=1}^k\sum_{j=1}^{n_i} (Y_{ij}-\overline{\overline{Y}})^2 = \sum_{i=1}^k\sum_{j=1}^{n_i} (Y_{ij}-\overline{Y_i})^2 + \sum_{i=1}^k n_i((\overline{Y_{i}}-\overline{\overline{Y}})^2$ 其中右边的第一项测量组内方差（并可用于估计常见的组内方差

σ^{2}

$\sigma^2$ )，第二项衡量组间方差，可用于估计

σ^{2}

$\sigma^2$ 仅在假设所有

μ_{i}

$\mu_i$ 有共同的价值。否则，它将包含一个额外的组件，即“

μ_{i}

$\mu_i$ 's"。这与总方差定律具有相同的形式！

形式上，让组成员身份成为随机变量 $G$ . 然后我们得到

V a r Y = E V a r (Y | G) + V a r E (Y | G)

$Var Y = E Var (Y | G) + Var E (Y | G)$ 我们可以将其解读为“

Y

$Y$ 是组内方差的期望值加上组期望的方差。”这与我们对上面 ANOVA 分解的解释相同。仔细观察推导（我们在这里没有给出），你可以看到它是实际上是勾股定理的一个版本。对于这种观点，请参阅总方差定律作为勾股定理

其它你可能感兴趣的问题

上一篇模型选择和超参数调优有什么区别？下一篇如何知道模型是过拟合还是欠拟合？