我知道 3 种方法来进行参数估计,ML、MAP 和贝叶斯方法。对于 MAP 和贝叶斯方法,我们需要为参数选择先验,对吗?
说我有这个模型, 其中是参数,为了使用 MAP 或贝叶斯进行估计,我在书中读到我们最好先选择一个共轭先验,这是一个联合概率, 对?
我有两个问题:
除了这个共轭选项,我们还有其他选择吗?
我们可以选择先验吗和分别喜欢和,除了把它们放在一起吗?
我知道 3 种方法来进行参数估计,ML、MAP 和贝叶斯方法。对于 MAP 和贝叶斯方法,我们需要为参数选择先验,对吗?
说我有这个模型, 其中是参数,为了使用 MAP 或贝叶斯进行估计,我在书中读到我们最好先选择一个共轭先验,这是一个联合概率, 对?
我有两个问题:
除了这个共轭选项,我们还有其他选择吗?
我们可以选择先验吗和分别喜欢和,除了把它们放在一起吗?
如评论中所述,先验分布表示对参数分布的先验信念。
当先前的信念实际可用时,您可以:
当没有明确的先验信念可用时,您可以:
话虽如此,使用联合或独立先验没有限制(VS)。作为补充,我想说的是,在我的拙见中,选择先验时需要注意三件事:
还有经验贝叶斯。这个想法是调整数据的先验:
虽然一开始这可能看起来很尴尬,但实际上与最小描述长度有关。这也是估计高斯过程核参数的典型方法。
直接回答上面的两个问题:
除了共轭先验之外,您还有其他选择来选择非共轭先验。问题是,如果你选择非共轭先验,你就不能做出精确的贝叶斯推断(简单地说,你不能推导出一个近似形式的后验)。相反,您需要进行近似推断或使用 Gibbs 采样、拒绝采样、MCMC 等采样方法来推导您的后验。抽样方法的问题在于,直观上,它就像在黑暗中反复触摸大象的图画——你可能有偏见和不完整。人们选择非共轭先验的原因是,对于某些可能性,共轭先验选项非常有限,或者说,大多数都是非共轭的。
是的,你绝对可以。如果 α 和 β 是独立的,这是理想条件,您可以通过 p(α)p(β) 推导出它们的联合分布。如果它们不是独立的,您可能需要找出条件概率并进行积分以得出联合分布。