为什么可以忽略 MAP 中的先验?

数据挖掘 可能性 贝叶斯
2022-03-04 21:23:14

后部 p(θ|x)=p(x|θ)p(θ)p(x)

许多资料说,自从p(x)是一个常数,则p(x)可以忽略。因此,p(θ|x)p(x|θ)p(θ)

我的问题是为什么p(x)是一个常数并被忽略。这是因为即使我们不知道分布 x,也存在对应的真实分布x? 所以,p(x)是一个常数(我们不知道但已经确定),因此可以忽略吗?

3个回答

你说的对,P(x)是数据的基本分布,可以假设它是恒定的,仅仅是因为它独立于我们的建模实践。然而P(x)可能会随着时间逐渐变化,这种现象称为“分布偏移”。例如,一个国家的身高分布可能会随着时间的推移而变化。

请注意,“prior”是保留字P(θ)这是贝叶斯建模中模型参数的分布。在非贝叶斯建模中,没有“先验”的概念。P(x|θ)被称为可能性和P(x)=θP(x|θ)P(θ)被称为边缘化可能性(可能性边缘化模型参数)。

最大的后验定义通常是这样的:

argmaxθp(θ|x)=argmaxθp(x|θ)p(θ)p(x)

并鉴于独立于,它不需要找到,那么你有p(x)θargmaxθ

argmaxθp(θ|x)=argmaxθp(x|θ)p(θ)p(x)=argmaxθp(x|θ)p(θ)

是的。大概任何“生成”数据的过程都会产生遵循某种分布的数据。只是一个数字,无论它是什么,它都是一个常数 wrtp(x)θ

我不会将称为先验,因为这意味着我们计算的数据存在一些后验概率。我们没有;这个过程并没有更新关于概率的信念。“先验”是指p(x)p(θ)

p(x)的值,则不能忽略 x) 。但通常你从后验分布中计算出来,你会得到一个封闭式的公式。p(θ|x)