来自 MCMC 链的奇异似然轨迹

机器算法验证 马尔可夫链蒙特卡罗 可能性
2022-03-30 07:01:39

我有一个模型:Single parameter -> Complex likelihood function -> Log-likelihood. 我执行了一个 MCMC 链(使用 pymc)并绘制了参数的轨迹和对数似然。参数估计最终是合理的,但对数似然图对我来说看起来很奇怪。

在此处输入图像描述

对数似然永远不会超过某个值。我想这是有道理的,如果该值是最大似然值,但我以前从未见过像这样的似然轨迹。我的问题是:这正常吗?

1个回答

给定一些参数值,对数似然是一些数据点上的对数密度的总和。回想一下,密度是“每英尺概率”的相对度量。这意味着它们可以是任意的低或高,就像在这个均匀密度的例子中一样。由于您对不同点的密度估计求和,因此它们将始终至少为N乘以给定数据和参数可能的最小值。由于您的 MCMC 算法在某些参数空间中徘徊,因此对数似然的相似性将与它在后续步骤中跳跃的“距离”成正比。因此,鉴于您提供的信息有限,这些值没有什么奇怪的,因为没有“典型”似然值。