机器算法验证 - 样本的平均值仍然是有效样本吗？ - 吾爱随笔录

机器算法验证机器学习贝叶斯采样马尔可夫链蒙特卡罗样本

2022-03-25 11:41:07

假设我从分布次，样本的平均值是否总是来自目标分布的有效样本？即的有效样本 $n$

x_{1}, \dots, x_{n} \sim p_{θ} (x)

$x_1, \ldots, x_n \sim p_\theta(x)$

\bar{x}

$\overline{x}$

p_{θ} (x)

$p_\theta(x)$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\overline{x} = \frac{1}{n}\sum_{i=1}^n x_i$

4个回答

不，有自己的抽样分布。和的方差为例，其中前者总是低于后者（），这意味着不是从中采样的。 $\bar x$ $\bar x$ $x_i$ $\leq$ $\bar x$ $p_\theta(x)$

到目前为止很好的例子，但考虑

X_{i} \sim B e r n o u l l i (.5)

$X_i \sim Bernoulli(.5)$

在这种情况下，数据的分布将仅支持 0 和 1。但随着样本量越来越大，样本均值取值为 0 或 1 的概率将不断降低。仅此一项就应该表明平均值不是从原始分布中采样的。

不，它仅在柯西分布的情况下有效，柯西样本的均值遵循相同的柯西分布。

作为一个更加病态的例子，考虑分布中的样本，该样本在和的并集上是均匀的。随着样本量的增加，均值将趋于 2，这甚至不在分布的支持范围内。另一个类似的例子是单位球体边界上的均匀分布（在任意维数上） $[0,1]$ $[3,4]$

其它你可能感兴趣的问题