可能性将您的数据与一组参数相关联。它通常写成：$P(D | \theta)$（或者$\mathcal{L}(\theta | D)$因为可能性可以看作是参数的函数——保持数据不变）。

在哪里$\theta$包含模型所需的所有参数。例如，假设我们有一堆 iid 数据$X = \{x_1, ..., x_n\}$我们想看看这对正态分布的拟合程度。$\theta = \{\mu, \sigma\}$， 和$P(D | \theta) = \prod_i \mathcal{N}(x_i; \mu, \sigma)$. 拟合该模型的一种方法是根据最大似然最大化参数值。这正是它听起来的样子。我们采用似然函数，并尝试通过更改参数设置来最大化它（保持观察到的数据不变）。这通常是通过计算每个参数的似然导数，设置为 0 并求解（旁注：通常首先取似然函数的对数以使导数更容易求解）。

或者，我们可以采用贝叶斯方法并为参数分配先验概率分布并计算后验分布以拟合参数：$P(\theta | D) \propto P(D | \theta) P(\theta)$. 在这种情况下，我们将参数视为随机变量，因此必须定义它们可能值的分布。先验分布可以编码我们可能拥有的关于变量的任何先验知识。例如，我们可能对可能的范围有一个很好的了解$\mu$并因此可以分配一个先验分布来推动$\mu$稍微接近这些值。

回顾一下：可能性：$P(D | \theta)$将数据链接到参数 Prior：$P(\theta)$可能参数值的分布（用于贝叶斯分析）