机器算法验证 - 是否应该仅将先验一词与潜在随机变量一起使用？ - 吾爱随笔录

是否应该仅将先验一词与潜在随机变量一起使用？

机器算法验证可能性术语潜变量

2022-03-25 20:46:53

我曾经认为随机变量上的任何边际分布都可以称为先验概率分布。

这是真的吗？

或者它是错误的，因为考虑中的随机变量可能不是潜在随机变量，并且术语先验应该严格地用于潜在随机变量的边际分布？

2个回答

术语先验（以及后验）通常保留用于在贝叶斯框架中定义的分布，对象上的对象不被其他推理方法视为随机变量，即参数。潜变量模型通常在贝叶斯/非贝叶斯二分法之外定义，潜变量的分布通常取决于参数，因此也取决于这些参数在贝叶斯框架中的实现。由于这是一个术语问题，因此将边际分布称为先验并没有对错（或对或错），但这可能会使贝叶斯主义者和非贝叶斯主义者感到困惑。

在回答你的问题之前，让我们先解释一些基本的贝叶斯思维。

在贝叶斯统计中，一切都是随机变量，这些随机变量之间的唯一区别是它们是被观察到的还是隐藏的。举例来说，如果你相信 $X$ 遵循由定义的分布 $\theta$ , 表示

X \sim P (X | θ)

$X \sim P(X|\theta)$ 在哪里

θ

$\theta$ 是分布的参数，从贝叶斯的角度来看，它也是一个随机变量。通常在这种情况下是随机变量

X

$X$ 被观察到并且

θ

$\theta$ 不是，你想推断/学习/esitmate

θ

$\theta$ 根据你的观察。在这种情况下，没有“先验”、“边缘”或“后验”之分

当您相信时，术语“先验”、“边缘”或“后验”很重要 $\theta$ 遵循其他分布

θ \sim P (θ | γ)

$\theta \sim P(\theta|\gamma)$ 然后我们将这个“其他分布”称为先验，更具体地说，它是 piror 分布

θ

$\theta$ . 在所有三个随机变量中

X

$X$ ,

θ

$\theta$ 和

γ

$\gamma$ ，通常

X

$X$ 和

γ

$\gamma$ 被观察到，

θ

$\theta$ 不是，你想估计

θ

$\theta$ 基于观察到的

X

$X$ 和

γ

$\gamma$ . 所以是的，术语“先验”通常是隐藏的随机变量，当然你可以相信有一个先验分布

θ

$\theta$ 即使它被观察到，但通常没有人这样做（为什么有人会估计已经观察到的东西？）。而且，如果你不能观察

γ

$\gamma$ ，你甚至可以假设

γ

$\gamma$ 遵循由另一个随机变量定义的分布

η

$\eta$ ，然后

P (γ | η)

$P(\gamma | \eta)$ 将是先于

γ

$\gamma$ . 希望这能回答您关于“之前”的问题。

现在让我们谈谈“边际”。在前面的例子中，人们通常对分布感兴趣 $X$ （尽管 $\theta$ 是隐藏的），给定 $\gamma$ ，分布

X \sim P (X | γ)

$X \sim P(X|\gamma)$ 称为“边际分布”。“边际”一词源于以下事实：

P (X | γ)

$P(X|\gamma)$ 是通过边缘化获得的

θ

$\theta$ 从联合分布：

p (X | γ) = \int_{θ} p (X | θ) p (θ | γ)

$p(X|\gamma) = \int_\theta p(X|\theta)p(\theta|\gamma)$

其它你可能感兴趣的问题

上一篇如何将描述性统计表达为统计泛函 - 为什么？下一篇了解明显相关但不可逆数据的相关性