机器算法验证 - 为什么我们使用单独的先验或联合先验？ - 吾爱随笔录

为什么我们使用单独的先验或联合先验？

机器算法验证贝叶斯事先的

2022-04-14 18:08:28

我正在研究先验选择，据我所知，当分布中的多个参数未知时，既可以为可能性中的每个参数放置一个先验，也可以放置一个联合先验在所有上述参数上。

例如，对于正态分布，可以在上放置一个正态先验，在上放置另一个正态先验，但也可以放置一个二元正态分布作为和的先验。 $N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $\mu$ $\sigma^2$

我猜，使用联合先验的原因之一是我们可以为某些分布构建共轭联合先验。但是，当不使用如上所述的共轭先验时，使用联合先验与单独先验有什么区别？是为了编码我们对参数之间相关性的信念吗？除此之外，是否有任何理由更喜欢联合先验而不是单独的先验？

2个回答

您提到的所有先验都是“联合”先验，因为它们定义了参数向量上的联合分布。当先验写成时，每个分量也可以解释为分量上的（边际）先验[假设所有分量都是正确的] 并且组件是先验独立的。由于在贝叶斯范式中所有先验都是可接受的，因此没有基本理由支持独立先验而不是依赖先验。 $\mathbf{\theta}=(\theta_1,\ldots,\theta_p)$

\prod_{i = 1}^{p} π_{i} (θ_{i})

$\prod_{i=1}^p \pi_i(\theta_i)$

π_{i} (θ_{i})

$\pi_i(\theta_i)$

θ_{i}

$\theta_i$

我认为正确的表达方式是先验是否独立。先验总是可以描述为（例如在您的普通示例中），但问题是联合先验是否分解为与否。 $p(\mu, \sigma^2)$ $p(\mu, \sigma^2) = p(\mu)p(\sigma^2)$

一旦我们有了这个措辞，我认为它会变得更容易思考。参数是否以某种方式相关？一种变化会影响另一种吗？然后你应该考虑一个包含参数之间协方差的先验。如果没有，您可以考虑独立先验。出于计算原因，通常会考虑独立先验。

其它你可能感兴趣的问题

上一篇是否可以对任何数据集进行聚类，或者数据中是否需要某种模式？下一篇卷积神经网络 (CNN) 是否比循环神经网络 (RNN) 更快？