您的问题的答案可能非常简单或非常深刻，即使涉及一些哲学思想（例如，贝叶斯和常客）。

我将尝试使用常客的观点和最大化似然估计来回答它。

我们将从抛硬币的例子开始。让我们假设每个硬币都有自己的属性，可能这个属性与硬币的物理质量分布或硬币的确切形状有关（可能是质量分布不均匀或不是完美的圆形），但对于一个给定的硬币，它有一个参数（得到正面的概率），并且这个参数有一个“真实值”，我们要估计。$\theta$

请注意，这个“真实”值是“固定”且未知的，我们可以使用实验来估计。$\theta$

假设我们将这枚硬币抛次，得到正面。我们将如何估计？凭直觉，我们可以说，我们使用出现次数除以样本量。但为什么我们有这种直觉？$10$$6$$\theta$

答案是最大化似然估计（MLE）。请注意，我们可以通过其他估计器不需要是 6/10。但是使用 MLE 是非常合理的。这就是为什么。$\theta$$\theta$

假设独立样本，得到数据的概率为

另一方面，我们知道在和之间。如果我们绘制得到数据尊重的概率，我们得到：$\theta$$0$$1$$\theta$

请注意，当我们将设置为时，获取数据的概率（似然函数）最大化。这就是为什么我们使用经验频率来估计未知参数$\theta$$0.6$

由于海涛给出了频率论方法的解释，我将提供一个贝叶斯方法。

在贝叶斯设置中，我们仍然普遍认为存在“真”$p$. 我们想了解$p$给出了我们观察到的数据。在掷硬币的例子中，$p$是观察到头部的概率。假设我们有一个公平的硬币，我们将它翻转 100 次，得到 40 个正面。

p <- 0.5
flips <- 100
heads <- 40

然后我们可以使用二项分布来告诉我们在不同的值下观察这些结果的可能性有多大$p$.

s <- seq(0, 1, length.out = 1000)
plot(
  s, dbinom(heads, size = flips, prob = s), type="l",
  xlab = "p (probability of heads)",
  ylab = "Binomial likelihood"
)

在这种情况下，最大似然估计器会给我们一个结果$p=0.4$.

然而，想象一下我们对一般的“公平”硬币有多“公平”有先验知识。我们可以说分布$p$我们见过的所有硬币（正面的机会）都用Beta 分布来描述，比如说$\text{Beta}(50, 50)$

prior_alpha <- 50
prior_beta <- 50
plot(
  s, dbeta(s, prior_alpha, prior_beta), type="l",
  xlab = "p (probability of heads)",
  ylab = "Proportion of all coins"
)

我们希望将这些先验知识与我们的似然分布结合起来。形式上，这是贝叶斯定理允许的：

我将跳过这里的数学。可以说，当我们将 beta 分布和二项分布结合起来时，我们会得到一个带有更新参数的 Beta 分布。这是因为 beta 是二项分布的共轭先验。在这种情况下，我们采取$\alpha$我们的先验和加法heads，然后取$\beta$我们之前的并添加flips - heads.

plot(
  s, 
  dbeta(
    s,
    shape1 = prior_alpha + heads,
    shape2 = prior_beta + flips - heads
  ),
  type = "l",
  xlab = "p (probability of heads)",
  ylab = "Posterior density"
)

通过使用这样的先验信息，您可以看到我们已经缩小了我们对硬币的普遍看法的猜测。

这就是说我们假设有一些 p 使得事件以概率 p 发生。在这一点上，除了它存在之外，我们没有对 p 做任何假设。我们稍后对 p 进行了估计，但 p 本身并没有得到；它仍然是一个未知的理论量。