参数与潜在变量

机器算法验证 贝叶斯 造型 随机变量 潜变量
2022-01-29 08:06:57

我之前曾问过这个问题,并且一直在努力确定是什么使模型参数成为潜在变量。因此,查看此站点上有关此主题的各种主题,主要区别似乎是:

未观察到潜在变量,但与它们具有相关的概率分布,因为它们是变量,并且参数也未观察到并且没有与它们相关联的分布,我理解这些是常数并且具有我们正在尝试的固定但未知的值寻找。此外,我们可以将先验放在参数上,以表示我们对这些参数的不确定性,即使只有一个与它们相关联的真实值,或者至少这是我们假设的。我希望我到目前为止是正确的?

现在,我一直在查看来自期刊论文的贝叶斯加权线性回归的示例,并且一直在努力理解什么是参数和什么是变量:

yi=βTxi+ϵyi

这里,但只有被视为变量,即具有与其相关的分布。xyy

现在,建模假设是:

yN(βTxi,σ2/wi)

的方差进行加权。y

也有一个先验分布,它们分别是正态分布和伽马分布。 βw

因此,完整的对数似然由下式给出:

logp(y,w,β|x)=ΣlogP(yi|w,β,xi)+logP(β)+ΣlogP(wi)

现在,据我了解,都是模型参数。然而,在论文中,他们一直将它们称为潜在变量。我的推理是都是变量概率分布的一部分,它们是模型参数。然而,作者将它们视为潜在随机变量。那是对的吗?如果是这样,模型参数是什么?βwβwy

该论文可以在这里找到(http://www.jting.net/pubs/2007/ting-ICRA2007.pdf)。

该论文是自动异常值检测:Ting 等人的贝叶斯方法。

1个回答

在本文中,一般来说,(随机)变量是从概率分布中提取的所有内容。潜在(随机)变量是您不直接观察到的变量(,未观察到,但两者都是 rv)。从潜在随机变量中,您可以获得后验分布,这是其以观察数据为条件的概率分布。yβ

另一方面,一个参数是固定的,即使你不知道它的值。例如,最大似然估计为您提供参数的最可能值。但它给了你一点,不是一个完整的分布,因为固定的东西没有分布!(您可以根据您对该值的确定程度或您认为该值在什么范围内进行分布,但这与值本身的分布不同,仅当值实际上是随机的时才存在多变的)

在贝叶斯设置中,您可以拥有所有这些。在这里,参数是诸如集群数量之类的东西;您将此值赋予模型,模型将其视为固定数字。是一个随机变量,因为它是从分布中得出的,是潜在随机变量,因为它们也是从概率分布中得出的。事实上取决于并没有使它们成为“参数”,它只是使依赖于两个随机变量。yβwyβwy

在论文中,他们认为是随机变量。βw

在这句话中:

这些更新方程需要迭代运行,直到所有参数和完整的对数似然收敛到稳定值

从理论上讲,他们谈论的是两个参数,而不是随机变量,因为在 EM 中这就是你所做的,优化参数。