计算以 logits 形式给出的概率之和

计算科学 稳定
2021-12-19 00:18:10

假设我有一组由它们的对数给出的众多概率:{lnpi,1iN}.

我要计算pi, 如果可能的话不求幂lnpi,因为其中一些概率非常小,这样做我会遭受严重的精度损失。

你知道什么巧妙的把戏吗?

编辑 14/06

  • 我沿着概率树计算概率,其深度可以高达D=10000. 这棵树通常是稀疏的,但我没有比这更好的上限N=2D

  • 其中一些概率变得非常低(例如10200)。我在 python 中工作。我没有亲眼目睹精度损失,但我怀疑它可能会发生,并决定接触更多知识渊博的人。

  • 我当前的实现只保留 1000 个最高的对数概率,对它们求幂并求和。

  • 计算总和的对数对我的应用程序来说是完美的,因为我有一个自然的对数概率基线。我很乐意将此标记为已批准的答案。

0个回答
没有发现任何回复~