机器算法验证 - 增量高斯过程回归 - 吾爱随笔录 - 问答

增量高斯过程回归

机器算法验证回归协方差高斯过程线性代数在线算法

2022-03-02 01:19:37

我想使用通过流逐一到达的数据点上的滑动窗口来实现增量高斯过程回归。

令表示输入空间的维度。因此，每个数据点都有个元素。 $d$ $x_i$ $d$

设为滑动窗口的大小。 $n$

为了做出预测，我需要计算克矩阵的逆，其中和 k 是平方指数核。 $K$ $K_{ij} = k(x_i, x_j)$

为了避免 K 随每个新数据点变大，我想我可以在添加新点之前删除最旧的数据点，这样可以防止 gram 增长。例如，让其中是权重的协方差，是平方指数核隐含的隐式映射函数。 $K = \phi(X)^{T}\Sigma\phi(X)$ $\Sigma$ $\phi$

现在让 ] 和其中是 x列矩阵。 $X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$ $X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$ $x$ $d$ $1$

我需要一种有效的方法来找到可能使用。这看起来不像可以用 Sherman-Morrison 公式有效处理的秩 1 更新矩阵问题的逆问题。 $K_{new}^{-1}$ $K$

2个回答

有几种递归算法可以做到这一点。您应该查看内核递归最小二乘 (KRLS) 算法和相关的在线 GP 算法。

Van Vaerenbergh, S., Santamaria, I., Liu, W. 和 Principe, JC (2010)。固定预算内核递归最小二乘法。在声学语音和信号处理 (ICASSP)，2010 年 IEEE 国际会议上，第 1882-1885 页。IEEE。
Lazaro-Gredilla, M.、Van Vaerenbergh, S. 和 Santamaria, I. (2011)。使用核递归最小二乘法进行跟踪的贝叶斯方法。在用于信号处理的机器学习 (MLSP) 中，2011 年 IEEE 国际研讨会，第 1-6 页。IEEE。
Perez-Cruz, F.、Van Vaerenbergh, S.、Murillo-Fuentes, JJ、Lazaro-Gredilla, M. 和 Santamaria, I. (2013)。非线性信号处理的高斯过程：最新进展概述。IEEE 信号处理杂志，30(4):40-50。

GP模型的逐步估计在文献中得到了很好的研究。基本思想不是以您要预测的所有新观察为条件，而是以领先一步为条件并重复执行此操作。这在某种程度上接近卡尔曼滤波。

其它你可能感兴趣的问题

上一篇从地理坐标计算内核密度估计的正确方法是什么？下一篇multcomp::glht 中具有交互作用的混合效应模型 (lme4) 的事后测试