当我们说我们有$N$“从概率分布或概率密度中提取”的点，这意味着每个点$x_n$有正确的概率$p(x_n)$当我们对我们的样本进行抽样时从分布中抽样$n^{th}$观点。

例如，假设我们希望计算/估计通过抛硬币给出的分布的期望值，该分布的权重使得它有三分之二的时间落在正面（正面的价值 $= 1$)，并且有三分之一的时间出现尾巴（尾巴的值 $= 0$）。这意味着真实概率为：

• $p(1) = \frac{2}{3}$
• $p(0) = \frac{1}{3}$

在这种情况下，我们实际上不必通过抽样来估计任何东西。确切的概率是已知的，所以我们可以将期望值计算为$p(1) \times 1 + p(0) \times 0 = \frac{2}{3}$.

但是现在假设我们不确切知道硬币是如何加权的，即我们不知道确切的值$p(1)$和$p(0)$. 如果我们简单地翻转我们的加权硬币$N = 100$次，我们会期待找到关于$67$样品$x_n = 1$, 关于$33$样品$x_n = 0$（四舍五入为整数，因为我们无法获得非整数的观测值）。所以我们不能明确地使用概率（因为我们不知道它们），但它们会隐含地出现在我们对每个可能的数据点的重复观察次数中。