贝叶斯更新的基本思想是给定一些数据和先验参数，其中数据和参数之间的关系使用似然函数来描述，您使用贝叶斯定理获得后验$X$$\theta$

$$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$$

这可以按顺序完成，在看到第一个数据点之前更新为后验之后，接下来您可以获取第二个数据点并使用之前获得的后验作为您的先验，再次更新它等等.$x_1$ $\theta$ $\theta'$$x_2$$\theta'$

让我给你举个例子。想象一下，你想估计正态分布的平均值并且是你已知的。在这种情况下，我们可以使用正态-正态模型。我们假设具有超参数$\mu$$\sigma^2$$\mu$$\mu_0,\sigma_0^2:$

$$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$$

由于正态分布是正态分布的共轭先验，我们有封闭形式的解决方案来更新先验$\mu$

$$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$$

不幸的是，这种简单的封闭式解决方案不适用于更复杂的问题，您必须依赖优化算法（使用最大后验方法进行点估计）或 MCMC 模拟。

下面你可以看到数据示例：

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

如果你绘制结果，你会看到随着新数据的积累，后验如何接近估计值（它的真实值用红线标记）。

要了解更多信息，您可以查看Kevin P. Murphy 对高斯分布论文的这些幻灯片和共轭贝叶斯分析。还要检查贝叶斯先验是否与大样本量无关？您还可以查看这些注释和此博客条目，了解贝叶斯推理的可访问分步介绍。

如果您有事先$P(\theta)$和似然函数$P(x \mid \theta)$你可以计算后验：

$$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$$

自从$P(x)$只是使概率总和为 1 的归一化常数，您可以这样写：

$$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$$

在哪里$\sim$意思是“成正比”。

共轭先验的情况（你经常得到很好的封闭式公式）

这篇关于共轭先验的维基百科文章可能提供了丰富的信息。让成为参数的向量。让成为参数的先验。令为似然函数，即给定参数的数据概率。如果先验和后验属于同一个族，则先验是似然函数的共轭先验（例如，两者高斯）。$\boldsymbol{\theta}$$P(\boldsymbol{\theta})$$P(\mathbf{x} \mid \boldsymbol{\theta})$$P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$

共轭分布表可能有助于建立一些直觉（并提供一些指导性示例以帮助您自己解决）。

这是贝叶斯数据分析的核心计算问题。这实际上取决于所涉及的数据和分布。对于一切都可以用封闭形式表示的简单情况（例如，使用共轭先验），您可以直接使用贝叶斯定理。对于更复杂的情况，最流行的技术系列是马尔可夫链蒙特卡罗。有关详细信息，请参阅任何有关贝叶斯数据分析的介绍性教科书。