我们在哪里可以找到贝叶斯定理在高斯处理贝叶斯优化中的应用

数据挖掘 优化 贝叶斯 高斯 超参数调整
2022-03-02 06:26:34

我正在尝试按照本教程学习贝叶斯优化。然而,直到现在我还没有得到贝叶斯定理与高斯过程形式主义之间的关系。

有任何想法吗?

1个回答

这是一篇 49 页长的论文,因此以下观察仅基于粗略阅读。

  1. 优化是为了找到机器学习模型成本函数的最佳参数值。
  2. 假设参数来自统计分布,而不是找到参数的固定值,任务是找到该统计分布的性质/形状。
  3. 贝叶斯定理告诉你,如果你有先验的信念和证据(数据),你可以去后验。
  4. 他们首先假设参数的先验分布是高斯分布。任务是然后找到后验。
  5. 由于有多个参数而不是单个变量,因此出现了高斯过程而不是单个高斯分布随机变量。
  6. 贝叶斯定理在从先验到后验时出现。使用诸如蒙特卡洛采样之类的采样技术来解决优化问题阅读有关 MCMC 采样方法的信息将帮助您了解联系。