机器算法验证 - 贝叶斯的顺序更新 - 吾爱随笔录 - 问答

贝叶斯的顺序更新

机器算法验证机器学习贝叶斯

2022-03-25 08:44:05

我目前正在阅读墨菲的 ML: A Probabilistic Perspective。在第 3 章中，他解释说后验的批量更新等同于后验的顺序更新，我试图在他的示例中理解这一点。

认为 $D_a$ 和 $D_b$ 是两个数据集和 $\theta$ 是我们模型的参数。我们正在尝试更新后验 $P(\theta \mid D_a, D_b)$ . 在连续更新中，他指出，

(1) P (θ ∣ D_{a}, D_{b}) \propto P (D_{b} ∣ θ) P (θ ∣ D_{a})

$(1) \ \ \ \ \ \ \ \ P(\theta \mid D_{a}, D_{b}) \propto P(D_b \mid \theta) P(\theta \mid D_a)$ 但是，我对他如何在数学上得到这个有点困惑。从概念上讲，我理解他说的是后验

P (θ ∣ D_{a})

$P(\theta \mid D_a)$ 现在是用于更新新后验的先验，其中包括新数据

D_{b}

$D_b$ ，并将此先验乘以可能性

P (D_{b} ∣ θ)

$P(D_b \mid \theta)$ . 扩展最后一条语句，我有，

P (D_{b} ∣ θ) P (θ ∣ D_{a}) = P (D_{b} ∣ θ) P (D_{a} ∣ θ) P (θ)

$P(D_b \mid \theta) P(\theta \mid D_a) = P(D_b \mid \theta) P(D_a \mid \theta) P(\theta)$

但是我们可以说 $P(D_a \mid \theta) P(D_b \mid \theta) = P(D_a, D_b \mid \theta)$ 为了在（1）中建立连接？

2个回答

确实 - 只要您假设可交换性，您就可以按顺序或以批量方式更新。这类似于频率论模型中通常做出的独立同分布假设。

在这种情况下， $D_{a}$ 和 $D_{b}$ 可交换意味着 $P(D_{a}, D_{b} \, | \, \theta) = P(D_{a} \, | \, \theta) P(D_{b} \, | \, \theta)$ 对于一些 $\theta$ ，这正是您建立连接所需要的。

您可以看到单个之间的等价证明 $n$ - 大批量更新和 $n$ 我写给类似问题的答案中的顺序更新。

实际上，顺序贝叶斯更新的一般公式是：

P (θ ∣ D_{a}, D_{b}) \propto P (D_{b} ∣ θ, D_{a}) P (θ ∣ D_{a}) . (*)

$P(\theta \mid D_{a}, D_{b}) \propto P(D_b \mid \theta, D_a) P(\theta \mid D_a). \,\,\,(*)$ 然而，对于大多数机器学习模型，

D_{a}

$D_a$ 和

D_{b}

$D_b$ 是有条件独立给定的

θ

$\theta$ ， IE，

P (D_{a} ∣ θ) P (D_{b} ∣ θ) = P (D_{a}, D_{b} ∣ θ),

$P(D_a \mid \theta) P(D_b \mid \theta) = P(D_a, D_b \mid \theta),$ 然后，

P (D_{b} ∣ θ, D_{a})

$P(D_b \mid \theta, D_a)$ 在

(*)

$(*)$ 自然等于

P (D_{b} ∣ θ),

$P(D_b \mid \theta),$ 所以

(*)

$(*)$ 变成：

(1) P (θ ∣ D_{a}, D_{b}) \propto P (D_{b} ∣ θ) P (θ ∣ D_{a}),

$(1)\,\,\,\,\,\,P(\theta \mid D_{a}, D_{b}) \propto P(D_b \mid \theta) P(\theta \mid D_a),$ 这正是墨菲的 ML 书中所谈论的内容。

其它你可能感兴趣的问题

上一篇在回归中添加垃圾控制有哪些潜在后果？下一篇copula 密度对随机变量的依赖性有何解释？