我想知道如何为问题/模型选择近似推理算法是否有任何好的经验法则(特别是当精确推理难以处理时)?当您面临一个问题时,您在选择推理方法(例如 MCMC、信念传播、变分等)时会考虑哪些因素?
如何选择近似贝叶斯推理的算法
机器算法验证
贝叶斯
推理
近似
2022-04-09 05:54:07
2个回答
首先,您必须决定您可以负担的时间。
如果您有大量时间进行数值实验,您可以尝试 MCMC 方法,在这种情况下,在某些情况下也可以避免复杂的积分。
如果您有很强的统计学背景并且想要进行大量集成,您可以尝试变分下限或期望传播等方法。所以,你必须仔细选择一批参数(例如,如果你尝试变分下界方法,你必须选择分布,你可以整合出来替换初始分布,所以你必须使用你的直觉(或使用正态分布))。
如果这个问题是新问题并且没有尝试过其他方法,您可以简单地尝试使用高斯或拉普拉斯近似。
此外,在许多情况下,您可以使用现有技术中提出的方法。例如,您提到的所有方法都已成功用于进行异方差高斯过程回归(例如,参见 2011 年 ICML 会议的论文http://www.tsc.uc3m.es/~miguel/papers/vhgpr_icml.pdf)。
PS 在 ICML 2012 文章http://icml.cc/discuss/2012/360.html中提出了有趣且简单的变分推理方法,因此您可以尝试解决您的问题。