高斯过程/狄利克雷过程等随机过程是否有密度?如果不是,如何将贝叶斯规则应用于它们?

机器算法验证 机器学习 可能性 贝叶斯 非参数 非参数贝叶斯
2022-03-04 22:15:09

狄利克雷过程和高斯过程通常被称为“函数上的分布”或“分布上的分布”。在那种情况下,我可以有意义地谈论 GP 下的函数密度吗?也就是说,高斯过程或狄利克雷过程是否有概率密度的概念?

如果没有,如果函数的先验概率的概念没有很好地定义,我们如何使用贝叶斯规则从先验到后验?贝叶斯非参数世界中是否存在诸如 MAP 或 EAP 估计之类的东西?非常感谢。

1个回答

“密度”或“似然”与测度论中的 Radon-Nikodym 定理有关。正如@Xi'an 所指出的,当您考虑随机过程的所谓部分观察的有限集合时,可能性对应于勒贝格测度的通常导数概念。例如,在已知的有限索引集上观察到的高斯过程的可能性是高斯随机向量的可能性,其均值是从过程的协方差推导出来的,两者都可以采用参数化形式。

在从随机过程中可获得无限数量的观测值的理想情况下,概率测度位于无限维空间上,例如,如果随机过程具有连续路径,则为连续函数空间。但是没有什么比无限维空间上的勒贝格测度更存在,因此没有直接的可能性定义。

对于高斯过程,在某些情况下,我们可以通过使用高斯度量等价的概念来定义似然性。吉萨诺夫定理提供了一个重要的例子,该定理广泛用于金融数学。这将 Itô 扩散 的可能性定义为对的概率分布的导数Bernt Øksendal的书中有一个简洁的数学说明Särkkä 和 Solin的(即将出版的) 提供了更直观的介绍,这将有助于从业者。Nate Elderedge 提供了关于无限维空间分析和概率的精彩数学论述。YtBtt0

请注意,统计学家有时将完全观察到的随机过程的可能性称为填充可能性