机器算法验证 - 分类先验是否存在共轭似然分布？ - 吾爱随笔录

机器算法验证贝叶斯共轭先验

2022-03-20 21:23:22

我有以下生成过程：

\begin{aligned} z & \sim C a t (π) \\ o | z & \sim p (o | z) \end{aligned}

$\begin{align} z &\sim Cat(\pi)\\ o | z &\sim p(o|z) \end{align}$

我想推断即的后验。幸运的是，我可以完全自由地对随机变量及其排放分布进行建模。分类先验是否存在任何共轭似然分布，使得所得的后验也是分类的？ $z$ $p(z|o)$ $o$ $p(o|z)$ $p(z|o)$

编辑1：我需要准确的结果。例如，如果发射分布取决于未知参数（例如，的每个可能值对应于高斯均值和协方差），则后验只能使用期望最大化迭代计算，并且可能不会收敛到正确的后路。 $z$ $p(z|o)$

1个回答

任何似然函数都会这样做：由于，它是一个离散随机变量，具有一些有限数量的可能状态。不管似然函数如何，它仍然会后验分布在这些相同的状态上，因此它仍然具有分类分布。这仅仅反映了这样一个事实，即在有限的一组结果上的每个分布都是一个分类分布。 $Z \sim \text{Cat}(\pi)$

如果你想要一个明确的结果，你可以应用贝叶斯定理。对于任何给出似然的观测值，得到的后验分布为： $o$ $L_o$

Z | o \sim Cat (π^{*}) π_{z}^{*} \equiv \frac{L_{o} (z) \cdot π_{z}}{\sum_{z} L_{o} (z) \cdot π_{z}} .

$Z|o \sim \text{Cat}(\pi^{*}) \quad \quad \quad \pi_z^{*} \equiv \frac{L_o(z) \cdot \pi_z}{\sum_z L_o(z) \cdot \pi_z }.$

其它你可能感兴趣的问题