高斯过程是“无限维的”是什么意思?

机器算法验证 贝叶斯 正态分布 术语 高斯过程
2022-03-28 15:21:49

我已经多次掩盖了这句话,但并没有真正理解它的含义。根据维基百科 - 高斯过程

高斯过程可以看作是多元正态分布的无限维推广

是什么让它无限维?仅仅因为核函数处理任意数量的输入维度?

3个回答

虽然来自多元高斯分布的样本产生具有离散数量元素的向量,但来自高斯过程的样本是连续函数,它是“无限维”的,因为它被连续变化的坐标“索引” .

我不是全科医生的专家,但我发现此页面很有帮助。

假设我们有XNn(μ,Σ). 我们可以想到X给我们一个随机函数{1,,n}R,我们通过索引来评估,例如X(1)=X1. 该域的随机函数空间为n-维,因为它是由函数跨越的{e1,,en}在哪里ei(t)=1t=i只是被认为是函数的标准基向量。

这个的随机过程视图是我们有一个索引集T={1,,n}然后我们有随机变量Xt:ΩR对于每个tT. 此过程的单个实现产生一个序列(x1,,xn)这可以被认为是一个特定的随机函数。更正式地说,如果(Ω,F,P)是我们的概率空间,那么随机过程的单一实现是来自的函数TRtXt(ω)在哪里ωΩ是样本结果。

如果我们想要具有无限支持的随机函数(所以我们通常认为是函数,比如f:RRf(x)=x2)我们可以通过使用具有较大索引集的随机过程来获得这些,例如T=N或者T=[0,). 这些过程之一的单一实现为我们提供了一个功能TR,但现在这些函数(通常)存在于无限维空间中。也就是说,这个过程所能实现的函数空间是一个无限维函数空间,而不是Nn(μ,Σ)其中可实现函数的空间是有限维的。

如果我们进一步要求我们的随机函数的输出对于每个有限的索引点集合都具有多元高斯分布,那么事实证明,这有助于将有限维空间上的高斯分布的概念推广到无限维空间.

总之:多元高斯给我们有限维空间中的随机函数,高斯过程可以给我们无限维空间中的随机函数。

无限维高斯过程具有跨越无限维空间(均方可积函数的希尔伯特空间的子空间)的样本函数。等效地,内核扩展需要无限数量的项(Mercer 定理)。可能有具有可数甚至不可数索引集的高斯随机过程,其样本函数跨越有限维空间,等效于具有有限项数的核扩展,因此不是无限维的。所以前面的答案是不正确的