机器算法验证 - 向量的 MSE 是否存在相应的偏差方差分解？ - 吾爱随笔录

机器算法验证贝叶斯偏见毫秒

2022-04-04 03:13:04

我从标准理论中知道，均方误差的偏差方差分解是（对于估计器 $\hat{\mu}$ 的 $\mu$ ):

E [{(\hat{μ} - μ)}^{2}] = V a r (\hat{μ}) + {(E [μ] - μ)}^{2} = V a r (\hat{μ}) + B i a s (\hat{μ}, μ)^{2}

$E\left[\left(\hat{\mu}-\mu\right)^2\right] = Var(\hat{\mu}) + \left(E\left[\mu\right]-\mu\right)^2 = Var(\hat{\mu}) +Bias(\hat{\mu}, \mu)^2$

但是，如果今天我们谈论向量，其中是的估计量，两者都是向量，我想知道是否有相应的很好的分解，如上面的标量情况： $\boldsymbol{\hat{\mu}}$ $\boldsymbol{\mu}$ $n\times 1$

E [| | \hat{μ} - μ | |^{2}]

$E\left[||\boldsymbol{\hat{\mu}}-\boldsymbol{\mu}||^2\right]$ ?

谢谢！

1个回答

只需注意

| | \hat{μ} - μ | |^{2} = \sum_{i = 1}^{n} ({\hat{μ}}_{i} - μ_{i})^{2}

$|| \widehat{\mu} - \mu ||^2 = \sum\limits_{i = 1}^{n} (\widehat{\mu}_{i} - \mu_{i})^2$

然后，您之前给出的分解给出了答案：

E [({\hat{μ}}_{i} - μ_{i})^{2}] = V a r [{\hat{μ}}_{i}] + [B i a s ({\hat{μ}}_{i}, μ_{i})]^{2}

$\mathbb{E}[(\widehat{\mu}_{i} - \mu_{i})^2] = Var[\widehat{\mu}_{i}] + [Bias(\widehat{\mu}_{i}, \mu_{i} )]^2$

总结一下，我们得到

E [| | \hat{μ} - μ | |^{2}] = \sum_{i = 1}^{n} V a r [{\hat{μ}}_{i}] + [B i a s ({\hat{μ}}_{i}, μ_{i})]^{2}

$\mathbb{E}[||\widehat{\mu} - \mu||^2] = \sum\limits_{i = 1}^{n} Var[\widehat{\mu}_{i}] + [Bias(\widehat{\mu}_{i}, \mu_{i} )]^2$

另一个完全不同的问题是协方差矩阵。 $\mathbb{E}[(\widehat{\mu} - \mu)(\widehat{\mu} - \mu)^t]$

其它你可能感兴趣的问题