可能性 - 为什么要相乘?

机器算法验证 最大似然
2022-01-20 06:26:19

我正在研究最大似然估计,我读到似然函数是每个变量概率的乘积。为什么是产品?为什么不是总和?我一直在尝试在 Google 上搜索,但找不到任何有意义的答案。

https://en.wikipedia.org/wiki/Maximum_likelihood

4个回答

这是一个非常基础的问题,我不会使用正式的语言和数学符号,而是尝试在每个能理解问题的人也能理解答案的水平上回答它。

想象一下,我们有一群猫。他们有 75% 的概率生为白色,25% 的概率生为灰色,没有其他颜色。此外,它们有 50% 的概率有绿眼睛和 50% 的概率有蓝眼睛,而且被毛颜色和眼睛颜色是独立的。

现在让我们看看一窝八只小猫:

在此处输入图像描述

您会看到 4 个中有 1 个或 25% 是灰色的。此外,2 人中有 1 人,或 50% 的人有蓝眼睛。现在的问题是,

有多少只小猫有灰色的皮毛和蓝色的眼睛?

你可以数一数,答案是一个。,或 8 只小猫的 12.5%。14×12=18

为什么会这样?因为任何猫都有四分之一的概率是灰色的。所以,挑选四只猫,你可以期待其中一只是灰色的。但是,如果您只从众多猫中挑选四只(并得到 1 只灰猫的期望值),那么灰色的猫有 1 比 2 的概率有蓝眼睛。这意味着,在您选择的猫总数中,您首先将总数乘以 25% 得到灰猫,然后将选择的 25% 的所有猫乘以 50% 得到蓝眼睛的猫。这使您有机会获得蓝眼睛的灰猫。

将它们相加会给你,这使得或 6 分之八。在我们的图片中,它对应于总结有蓝眼睛的猫和有灰色毛皮的猫 - 并且将一只灰色的蓝眼睛小猫数了两次!这样的计算可以有它的位置,但它在概率计算中相当不寻常,而且它肯定不是你要问的那个。14+1234

两个事件之间的独立性意味着一个事件的发生不影响另一个事件发生的可能性。因此,对于样本空间中的任何两个事件 , 我们说是独立的,当且仅当。现在超过两个事件我们说事件是独立的对于所有子集ABSABP(AB)=P(AB)=P(A)P(B)A1,A2,...AnP(AiiI)=iIP(Ai)I[1,2,...,n]

我们假设有一个样本独立且同分布的观测值 (iid),来自具有未知概率密度函数 的分布,这意味着这个联合密度函数是 x1,x2,,xnnf(x1,x2,...,xn|θ)=i=1i=nf(xi|θ)

在独立性的普遍假设下,P(AB)=P(A)P(B).

因此,如果您假设所有观察结果都是独立的,那么观察到的所有值的概率等于各个概率的乘积。

为什么不加?

因为这显然没有意义。假设你有 25 美分硬币和 5 美分硬币,你想把它们都翻转过来。本季度有 50% 的机会出现正面,而镍有 50% 的机会出现正面。如果两个正面朝上的机会是总和,那将是 100% 的机会,这显然是错误的,因为它没有给 HT、TH 和 TT 留下机会。

为什么要倍增?

因为它确实有意义。当您将四分之一硬币正面朝上的 50% 几率乘以镍正面朝上的 50% 几率时,您会得到 0.5 x 0.5 = 0.25 =25% 的硬币正面朝上的几率。鉴于有四种可能的组合(HH、HT、TH、HT),并且每种组合的可能性相同,这非常适合。在评估两个独立事件都发生的可能性时,我们将它们各自的概率相乘。