机器算法验证 - 贝叶斯高斯过程回归的预测是否正态分布？ - 吾爱随笔录

这与我的其他问题没有直接关系，尽管主题是相同的。这也很可能是一个非常微不足道的问题，但请耐心等待:) 我正在与一位同事讨论高斯过程回归的使用，他提出了两个我不同意的断言：

GPR 只能用于在预测变量呈正态分布时对响应进行建模。
GPR 模型的响应总是正态分布的。

我相信第一个断言是错误的（实际上，GPR 对预测变量的联合分布根本不做任何假设），而第二个断言只有在超参数固定的情况下才是正确的。但是，如果我们遵循完全贝叶斯方法，并推导出超参数的后验概率分布，则后验预测分布不再是正态分布：它只是响应的分布，以超参数和观察为条件，即正态分布。在公式中：

y = f (x) + ϵ, ϵ \sim N (0, σ_{n o i s e}^{2})

$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$

并假设先于全科医生 $f(\mathbf{x})$ . 让 $\{(\mathbf{x_1},y_1,)\dots,(\mathbf{x_d},y_d,)\}$ 是一组观测值，则超参数的后验概率分布为

p (θ | y) \propto p (y | θ) p (θ)

$p(\boldsymbol{\theta}|\mathbf{y})\propto p(\mathbf{y}|\boldsymbol{\theta})p(\boldsymbol{\theta})$

现在，一个新的响应向量的分布，以超参数和观察为条件，即，是正态分布的（对吗？）。然而，后验预测分布是 $\mathbf{y^*}$ $p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})$

p (y^{*} | y) = \int p (y^{*}, θ | y) p (θ) d θ = \int p (y^{*} | θ, y) p (θ | y) p (θ) d θ

$p(\mathbf{y^*}|\mathbf{y})=\int{p(\mathbf{y^*},\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})}d\boldsymbol{\theta}=\int{p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})p(\boldsymbol{\theta}|\mathbf{y})p(\boldsymbol{\theta})}d\boldsymbol{\theta}$

在积分中，只有项是（多元）正态 pdf。和可能具有我们认为适合对手头的统计问题建模的任何分布。没有理由认为这三个分布的乘积的积分 wrt是正态分布的，因此我们不能说向量是正态分布的。这个对吗？ $p(\mathbf{y^*}|\boldsymbol{\theta},\mathbf{y})$ $p(\mathbf{y}|\boldsymbol{\theta})$ $p(\boldsymbol{\theta})$ $\boldsymbol{\theta}$ $\mathbf{y^*}|\mathbf{y}$