人工智能 - 伯努利分布的参数是如何学习的？ - 吾爱随笔录

伯努利分布的参数是如何学习的？

人工智能机器学习概率分布权重

2021-11-16 01:25:01

在论文Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask中，他们通过将掩码参数设置为 $M_i = Bern(\sigma(v_i))$ . 在哪里 $M$ 是参数掩码（ $f(x;\theta, M) = f(x;M \odot \theta$ ), $Bern$ 是伯努利采样器， $\sigma$ 是 sigmoid 函数，并且 $v_i$ 是一些可训练的参数。

在论文中，他们学习 $v_i$ 使用新元。我想知道他们是如何做到这一点的，因为没有重新参数化技巧，就像我在文献中看到的其他一些分布一样（例如：正常）。

1个回答

我收到了论文作者的回复。

正如预期的那样，伯努利采样器是不可微的，因此他们使用采样器梯度的期望值作为近似值。

$\begin{align*} \frac{dL}{dv_i} &= \frac{dL}{dBern(\sigma(v_i))} * \frac{dBern(\sigma(v_i))}{d\sigma(v_i)} * \frac{d\sigma(v_i)}{dv_i} \\ &\approx \frac{dL}{dBern(\sigma(v_i))} * \frac{dE[Bern(\sigma(v_i))]}{d\sigma(v_i)} * \frac{d\sigma(v_i)}{dv_i} \\ &= \frac{dL}{dBern(\sigma(v_i))} * \frac{d\sigma(v_i)}{d\sigma(v_i)} * \frac{d\sigma(v_i)}{dv_i} \\ &= \frac{dL}{dBern(\sigma(v_i))} * 1 * \frac{d\sigma(v_i)}{dv_i} \\ \end{align*}$

所以答案就这么简单。

其它你可能感兴趣的问题

上一篇如何在不发生灾难性遗忘的情况下逐步训练 Yolo 模型？下一篇我在哪里可以找到有关 Neurogrid 中使用的学习方法的信息？