机器算法验证 - 为什么后验预测分布涉及积分？ - 吾爱随笔录

机器算法验证贝叶斯预测模型后部

2022-03-13 23:15:51

给定新数据点的后验预测分布，给定一些数据 $x^*$ $(X,Y)$

\begin{aligned} p (y^{*} | x^{*}, X, Y) = \int p (y^{*} | x^{*}, ω) p (ω | X, Y) d ω \end{aligned}

$\begin{align*} p(y^*|x^*,X,Y) = \int p(y^*|x^*,\omega) p(\omega|X,Y) \, d \omega \end{align*}$

给我们未来预测数据的分布。 $y^*$

积分背后的逻辑是什么？为什么我们在这里需要积分？

干杯

编辑：积分背后的直觉是什么？内的某种面积，这只不过是质量函数。 $p(y^*|x^*,\omega) p(\omega|X,Y)$

1个回答

您并不完全了解，但您有一些想法，一个基于您之前看到的数据的分布，由描述。如果你有一个常数，后验预测分布将是的期望值（即加权平均值）。 $\omega$ $p(\omega|X,Y)$ $\omega_0$ $p(y^*|x^*,\omega_0)$ $\omega$

顺便说一下，积分同时来自全概率定律：

p (y^{*} | x^{*}, X, Y) = \int \underset{p (y, ω | x^{*}, X, Y)}{\underset{⏟}{p (y^{*} | x^{*}, ω, X, Y) p (ω | X, Y)}} d ω = \int p (y^{*} | x^{*}, ω) p (ω | X, Y) d ω

$p(y^*|x^*,X,Y)=\int \underbrace{p(y^*|x^*,\omega,X,Y)p(\omega|X,Y)}_{p(y,\omega|x^*,X,Y)}d\omega=\int p(y^*|x^*,\omega)p(\omega|X,Y)d\omega$

积分内的第一项被简化为，因为当你真正知道模型参数时，你不需要训练数据来学习它们。因此，给定输入，假设输出仅取决于模型参数。 $p(y^*|x^*,\omega,X,Y)=p(y^*|x^*,\omega)$ $x^*$ $y^*$ $\omega$

其它你可能感兴趣的问题