拉普拉斯分布是否存在共轭先验?如果没有,是否有一个已知的封闭形式表达式来近似拉普拉斯分布参数的后验?
我在谷歌上搜索了很多都没有成功,所以我目前对上述问题的猜测是“否”......
拉普拉斯分布是否存在共轭先验?如果没有,是否有一个已知的封闭形式表达式来近似拉普拉斯分布参数的后验?
我在谷歌上搜索了很多都没有成功,所以我目前对上述问题的猜测是“否”......
至少有点。让我们先一个一个地看它们(把另一个当作给定的)。
从链接(修改为遵循使用希腊符号作为参数的约定):
-比例参数:
对于某些值和. 那就是可能性是反伽马形式。
所以比例参数有一个共轭先验——通过检查共轭先验是反伽玛。
-位置参数
这确实更棘手,因为没有简化成方便的东西; 我认为没有任何方法可以“收集条款”(在某种程度上是这样,但无论如何我们都不需要)。
统一的先验只会截断后验,如果这看起来像先验一样合理,那么使用它并不是那么糟糕。
一种可能偶尔有用的有趣可能性是,通过使用伪观察很容易包含拉普拉斯先验(与数据具有相同比例的先验)。也可以通过几个伪观察来近似其他一些(更严格的)先验)
事实上,从这一点进行概括,如果我使用的是拉普拉斯,我很想简单地从恒定尺度恒定重量概括为使用拉普拉斯的加权观察版本(等效地,可能不同的尺度每个数据点) - 对数似然仍然只是一个连续的分段线性函数,但斜率可以在连接点处以非整数量变化。然后存在一个方便的“共轭”先验——只是另一个“加权”拉普拉斯,或者实际上是任何形式的或者(尽管它需要适当缩放以产生实际密度) - 一个非常灵活的分布族,显然导致后验“与加权观察可能性具有相同形式”,并且易于使用和画; 事实上,即使是伪观察的东西仍然有效。
它也足够灵活,可以用来逼近其他先验。
(更一般地说,人们可以在对数尺度上工作并使用连续的分段线性对数凹先验,后验也将采用这种形式;这将包括不对称拉普拉斯作为特例)
例子
只是为了表明它很容易处理 - 下面是加权拉普拉斯位置参数的先验(灰色虚线)、可能性(虚线、黑色)和后验(实线、红色)(...... )。
我认为加权拉普拉斯方法在 MCMC 中会很好地工作。
--
我想知道得到的后验模式是否是加权中位数?
- 实际上(回答我自己的问题),看起来答案是“是”。这使得使用起来相当不错。
--
联合先验
显而易见的方法是写: 会比较容易以与上述相同的形式 - 其中可以是先验的比例因子,因此先验将相对于- 然后是逆伽马,无条件。
毫无疑问,对于联合先验更一般的东西是很有可能的,但我认为我不会在此进一步探讨联合案例。
--
我以前从未见过或听说过这种加权拉普拉斯先验方法,但是想出它相当简单,所以它可能已经完成了。(如果有人知道,欢迎参考。)
如果根本没有人知道任何参考资料,也许我应该写一些东西,但这将是惊人的。