机器算法验证 - 如何使用均匀分布从对数变换分布中采样？ - 吾爱随笔录

如何使用均匀分布从对数变换分布中采样？

机器算法验证贝叶斯采样均匀分布对数

2022-04-09 14:39:42

我正在将未缩放的密度函数转换为对数比例以避免下溢问题。

在我使用对数变换之前，BI 在值网格上对该函数执行积分，以构建基于网格的累积分布函数。然后，使用来自制服 [0,1] 的抽签，我选择了网格上最大的点，其累积概率值小于来自制服的抽签。只要可以集成单变量密度函数，这种方法就可以正常工作。

随着对数比例的转换，我无法真正理解这种机制。联合似然是如此之小，以至于我无法对密度进行反向变换，因此我必须在对数尺度上执行相同的基于均匀分布的采样。这是一种既定的做法吗？反馈和指针将不胜感激。

1个回答

据我了解，您通常已离散化以创建一组点，概率为，然后计算累积概率，例如。所以你可以画然后取 where，或类似的东西。 $n$ $x_1, \dots, x_n$ $p_1, \dots, p_n$ $c_i = \sum_{j=1}^i p_j$ $U \sim Uniform(0,1)$ $X = x_{i^*}$ $i^* = \min_i \{i:c_i \ge U\}$

但是您当前的问题是 $p_i$ 太小了，您只想使用 $a_i = \log p_i$ 。

一种方法是将从最大到最小排序，然后使用类似于以下函数的函数计算部分和，该函数根据和。 $a_i$ addlog $\log(f + g)$ $a = \log(f)$ $b = \log(g)$

addlog(a, b, THRESH=200.0)
{
  if(b > a + THRESH) return(b);
  else if(a > b + THRESH) return(a);
  else return(a + log1p(exp(b-a)));
}

哪里log1p(x)返回log(1+x)。

但是，实际上，我认为您应该关注足够大而无需担心下溢的 x_i ，而忽略非常的。如果所有都很小，那么您似乎应该更粗略地网格化。我认为，在大多数应用程序中，离散化到 1000 个左右的值就足够了。 $x_i$ $p_i$ $x_i$ $p_i$ $p_i$

其它你可能感兴趣的问题

上一篇为 Dickey-Fuller 检验选择回归类型下一篇L1 回归与 L2 回归