高斯过程:一个关键的假设?

机器算法验证 机器学习 假设 高斯过程 直觉
2022-04-18 01:04:41

我正在阅读这篇论文,我得出了一个似乎非常关键的假设:

现在n在任意数据集中的观察,y={y1,,yn}, 总是可以想象为从某个多元变量 (n-variate)高斯分布,经过足够的思考。

我希望有人可以表达“足够的想法”的细节。

现在,我有点明白为什么这可能是真的。这似乎与我们在 KDE 中使用高斯核甚至中心极限定理的原因有些模糊,但这对我来说有点模糊。

谁能解释一下?

2个回答

根据定义,随机过程是由某些集合的元素索引的随机变量的集合T这通常是R或者Z. 因此,随机过程是集合{X(t):tT}在哪里X(t)被称为t-th 随机变量。

根据定义,高斯随机过程{X(t):tT}是一个随机过程

对于所有的选择n>0以及所有时间瞬间的选择t1,t2,,tnT,X(t1),X(t2,),,X(tn)具有联合高斯(也称为多元高斯)分布。

Nitpickers Anonymous 的成员请注意,对于n=1,唯一的随机变量X(t)(在哪里tT) 只有一个单变量高斯分布,而不是一个多元高斯分布。所以,多元高斯性X(t1),X(t2,),,X(tn)实际上被烘焙到高斯随机过程的定义中。

“但是,但是,但是,”你气喘吁吁地说,“它说的是任意数据集,而不是高斯随机过程。” 好吧,任意数据集的规范模型是它们是来自高斯分布的(独立)样本,我们不会放弃这一点,除非有人超过我们并坚持认为事实并非如此。因此,数据可以建模为多元高斯(我提醒那些按照不同鼓手的节奏前进的人,包括作为特例的独立高斯。)

好了,今天的想法就足够了。

这个假设并不是普遍有效的(当然)。此外,在许多情况下甚至没有必要制作!

明显无效的相关示例是:严格的正数据(因为高斯总是有可能为负)或单调或凸数据(一阶和二阶导数的原因相同)。

该数据是(固定)高斯场的实现是一个非常强的假设,这并不总是必要的。较弱的假设会导致较弱的结论,但在许多情况下,您只需要这些较弱的结论。

按强度排序的假设和可能的结论:

  1. 假设:数据来自静止的高斯场。

    您可以得出结论:来自最大似然和完整后验/预测分布的超参数。此外,平均预测是均方中最好的无偏预测。

  2. 假设:数据来自二阶平稳过程(即存在均值和协方差函数,未指定完全分布)。

    可能的结论:预测方差,平均函数的最佳线性(!)无偏估计。

  3. 假设:数据是确定性的,即问题是纯插值问题。

    可能的结论: “平均”或可能更好的插值函数。

这解释了为什么高斯过程回归适用于正常或任何其他随机假设没有任何意义的领域(例如计算机实验或数值分析)。

有关更多详细信息,请查看这个不错的概述:“空间数据插值 - 随机问题还是确定性问题?” .