可以使用Gumbel-max 技巧从给定对数概率的分类分布中进行采样，而无需留下对数空间。这个想法是，如果给定非标准化的对数概率$\alpha_1,\dots,\alpha_k$，可以使用 softmax 函数转换为适当的概率

$$p_i = \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)}$$

然后从这样的分布中取样，你可以使用这样一个事实，如果$g_1,\dots,g_k \sim \mathcal{G}(0)$是从按位置参数化的标准 Gumbel 分布中提取的独立样本$m$,

$$F(G \le g) = \exp(-\exp(-g+m))$$

然后可以显示（参见下面的参考资料）

$$\DeclareMathOperator*{\argmax}{arg\,max} \begin{align} \argmax_i \,\{\, g_i + \alpha_i \,\} &\sim \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)} \\ \max_i\,\{\, g_i + \alpha_i \,\} &\sim \mathcal{G}(\; \log\sum_i\exp\{\alpha_i\}\;) \end{align}$$

我们可以采取

$$z = \argmax_i \,\{\, g_i + \alpha_i \,\}$$

概率参数化的分类分布的样本。Ryan Adams和Laurent Dinh在博客文章中更详细地描述了这种方法 ，此外，Chris J. Maddison、Daniel Tarlow 和 Tom Minka在神经信息处理系统会议（2014 年）上发表了演讲（幻灯片）并写了一篇题为A*的论文概括这些想法的抽样（另见 Maddison，2016 年；Maddison，Mnih 和 Teh，2016 年；Jang 和 Poole，2016 年），他们提到 Yellott（1977 年）提到他是最先描述该属性的人之一。$p_1,\dots,p_k$

通过采用来使用逆变换采样很容易实现它，其中来自上的均匀分布。它当然不是从分类分布中采样的最省时的算法，但它可以让你留在对数空间中，这在某些情况下可能是一个优势。$g_i=-\log(-\log u_i)$$u_i$$(0,1)$

---

Maddison, CJ, Tarlow, D. 和 Minka, T. (2014)。A* 抽样。[在：] 神经信息处理系统的进展（第 3086-3094 页）。

吉耶洛特 (1977)。卢斯的选择公理、瑟斯通的比较判断理论和双指数分布之间的关系。数学心理学杂志，15（2），109-144。

Maddison, CJ, Mnih, A., & Teh, YW (2016)。具体分布：离散随机变量的连续松弛。arXiv 预印本 arXiv:1611.00712。

Jang, E., Gu, S., & Poole, B. (2016)。使用 Gumbel-Softmax 进行分类重新参数化。arXiv 预印本 arXiv:1611.01144。

麦迪逊，CJ（2016 年）。蒙特卡洛的泊松过程模型。arXiv 预印本 arXiv:1602.05986。

这是避免下溢/上溢的一种常用方法。

设。$m = \max_i \log(\theta_i)$

让。$\theta_i' = \exp( \log(\theta_i) - m )$

您可以从采样。$\theta' = [\theta_1' , \theta_2',...]$