先验概率和边际概率有什么区别?

机器算法验证 可能性 贝叶斯 事先的 边际分布
2022-04-18 03:39:53

假设我有一个随机变量的分布S

s | P(S=s)
--+-------
0 | .28
1 | .72

那是事先的,对吧?它代表了我们对在没有其他信息的情况下发生事件的可能性的信念。它与类似的东西根本不同,后者代表了我们对准确给出信息P(S=s|R=r)的信念SR

或者,我可以得到一个联合分布SR并计算边际概率:

s | r | P(S=s, R=r)
--+---+------------
0 | 0 | 0.2
0 | 1 | 0.08
1 | 0 | 0.7
1 | 1 | 0.02

所以边际是:

s | P(S=s)    r | P(R=r)
--+-------    --+-------
0 | .28       0 | 0.9
1 | .72       1 | 0.1

我的问题是:这种边际分布S与之前的分布有何不同S仅仅是解释的问题吗?

2个回答

P(S=s)都是下表中的边际概率P(R=r)

R=0R=1S=00.200.080.28S=10.700.020.720.900.10

给定这样的表,您可以计算条件概率P(SR)P(RS)通过应用贝叶斯定理,例如

P(SR)=P(RS)P(S)P(R)=P(RS)P(R)

你可以用同样的方法计算P(RS). 请注意,要应用它,您需要知道条件概率或联合概率。这是贝叶斯定理的一个基本应用,它有很多很好的应用(参见例如这里)。

现在要注意的重要一点:应用贝叶斯定理使用贝叶斯统计不同。P(S)你的例子中不是更早的,那么P(R). 此外,要计算“后验”概率,您需要知道联合概率或条件概率。如果您正在考虑一些简单的示例,例如“杰克从商店偷了一个橙子的概率为 0.7”,那么您不能通过假设您认为概率为 0.3 来将贝叶斯定理应用于此类问题,除非您也知道联合概率(当你假设他有罪时他有罪的概率等),或条件概率(你假设他有罪的概率,因为他有罪的事实)。不是我们在统计中使用先验的方式。

在统计中应用贝叶斯定理时,我们有一些数据X可以用概率密度函数来描述fθ,但我们不知道它的参数值θ. 估计θ我们可以使用许多不同的统计方法,例如,通过最大化似然函数来进行最大似然估计

argmaxθfθ(X)

该问题的其他方法是在估计参数的过程中包含一些先验信息并使用贝叶斯方法。这是通过使用贝叶斯定理完成的,但方式不同。首先,我们假设一些概率分布θ,我们称之为g,然后先验地假设未知参数遵循此分布。我们使用贝叶斯定理来结合两种信息来源:我们关于θ,这是我们的先验 g; 以及数据中包含的信息,即似然函数fθ(X), 所以要获得后验估计g(θ|X)

g(θ|X)fθ(X)g(θ)

如果这听起来仍然很复杂,您可以从查看标记的多个其他问题开始很多例子。还有许多不错的入门书籍,例如Andrew Gelman等人的贝叶斯数据分析,或John K. Kruschke 的Doing Bayesian Data Analysis, Second Edition: A Tutorial with R, JAGS, and Stan

如果您将表视为可能的参数值和行作为可能的数据值(见下图),则下边际分布参数的先验分布。观察到的数据表明表格的哪一行是我们实际居住的行,可以这么说,因此我们对该行进行条件化以找到 p(theta|D),这是后验分布。换句话说,贝叶斯规则让我们从边缘(即先验)到行条件(即后验)。

在此处输入图像描述

我意识到这是一个非常简洁的描述,但我希望它对一些人有所帮助。有关详细信息,请参阅 DBDA2E 的第 5 章。