最大似然假设和最大后验假设有什么区别?

数据挖掘 机器学习 统计数据 可能性 贝叶斯
2022-02-21 14:36:40

我是一名学生,我正在学习机器学习。我专注于贝叶斯学习的概念,我研究了最大似然假设最大后验假设

我已经看到,最大似然假设 是使看到数据的可能性最大化的假设,它被定义为:

hML=arghmaxP(D|h)

最大后验假设是最大化看到数据的后验概率的假设,它定义为:

hMAP=arghmaxP(D|h)P(h)

我真的对这两个定义感到困惑,因为我无法掌握两者之间的区别。

我知道最大似然假设是在给定一些观察数据的情况下找到分布参数的假设,这样我最有可能理解数据。

但我无法理解MAP假设是什么。

我试图阅读一些解释和定义,但我无法理解两者之间的区别。

那么,最大似然假设和最大后验假设有什么区别?

1个回答

我将在这里尝试为您提供一些直觉,而不是专注于方法背后的数学机制。

想象一下,您正在评估一枚硬币是否公平,因此您收集了一系列正面和反面作为您的数据集。在 MLE 中,我们只需查看我们收集的数据并找到最大可能性......当我们没有先验知识可以利用时(即我们不知道硬币是否公平),这很有效。

相比之下,在 MAP 中,我们采用与 MLE 中相同的可能性,但现在乘以我们的先验知识。例如,我们可能强烈怀疑我们的硬币有偏差,因此我们可以通过先验分布利用该知识影响我们的估计。这个新的估计是我们相信的(我们之前的)和我们测量的(我们的可能性)的混合体。

在这里考虑两个极端情况是:1)如果我们非常相信我们的先验,那么我们将需要收集大量数据来影响结果估计,使其远离先验。相反,如果我们预先知道的很少(即我们有一个无信息的先验),那么找到 MAP 估计就等同于 MLE 估计,因为我们的先验不影响结果。

也许视觉表示也可以提供帮助: MLE 与 MAP

MLE 正在寻找绿色曲线的最大值。

MAP 是 1) 将蓝色曲线乘以绿色曲线以创建红色曲线,以及 2) 找到新创建的红色曲线的最大值。