机器算法验证 - 为什么大样本量的杂乱问题难以解决？ - 吾爱随笔录

假设我们有一组点。每个点是使用分布为了获得的后验，我们写根据 Minka 关于期望传播的论文，我们需要计算来获得后验，因此，对于大样本量，问题变得难以处理。但是，我不明白为什么在这种情况下我们需要这么多的计算，因为对于单个 $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ $y_i$

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$

x

$x$

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$

2^{N}

$2^N$

p (x | y)

$p(x| \mathbf{y})$

N

$N$

y_{i}

$y_i$ 可能性的形式为

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

的简单乘法获得后验，所以我们只需要次操作，因此我们可以精确地解决大样本量的这个问题。 $p(y_i| x)$ $N$

我进行数值实验来比较如果我分别计算每个术语并且我对每个使用密度乘积，我是否真的获得了相同的后验。后期是一样的。看看我哪里错了？谁能告诉我为什么我们需要操作来计算给定和样本的后验？ $y_i$ 在此处输入图像描述 $2^N$ $x$ $\mathbf{y}$