数据挖掘 - 非标准化对数概率 - RNN - 吾爱随笔录

数据挖掘深度学习 lstm rnn

2021-10-11 23:32:34

我正在阅读 Goodfellow 的深度学习书。在 RNN 部分，我遇到了以下问题：

RNN 定义如下：

方程是：

现在 $O^{(t)}$ 以上被认为是非归一化的对数概率。但如果这是真的，那么 $O^{(t)}$ 必须是负数，因为，

概率总是定义为 0 到 1 之间的数字，即 $P\in[0,1]$ ，其中括号表示闭区间。和 $log(P) \le 0$ 在这个区间。但是在上面的等式中，没有这个条件 $O^{(t)} \le 0$ 被明确强制执行。

我错过了什么！

2个回答

从某种意义上说，您是对的，最好将其称为未归一化概率的对数。这样，数量可以是正数或负数。例如， $\text{log}(0.5) < 0$ 和 $\text{log}(12) > 0$ 都是非标准化概率的有效对数。在这里，更详细地说：

可能性： $P(i) = e^{o_i}/\sum_{k=1}^{K}e^{o_k}$ （使用图 10.3 标题中提到的 softmax，并假设 $\mathbf{o}=(o_1,..,o_K)$ 是softmax之前层的输出），
非归一化概率： $\tilde{P}(i) = e^{o_i}$ , 可以大于 1,
非归一化概率的对数： $\text{log}\tilde{P}(i) = o_i$ ，可以是正数或负数。

你是对的，没有停止 $o_k^{(t)}$ 从非负数来看，这里的关键字是“非规范化”。

如果我们让 $o_k^{(t)}=\ln q_k^{(t)}$

{\hat{y}}_{k}^{(t)} = \frac{\exp (o_{k}^{(t)})}{\sum_{k = 1}^{K} \exp (o_{k}^{(t)})} = \frac{q_{k}^{(t)}}{\sum_{k = 1}^{K} q_{k}^{(t)}}

$\hat{y}^{(t)}_k= \frac{\exp(o^{(t)}_k)}{\sum_{k=1}^K \exp(o^{(t)}_k) }= \frac{q_k^{(t)}}{\sum_{k=1}^K q_k^{(t)}}$

Here $q_k^{(t)}$ can be any positive number, they will be normalized to be sum to $1$ .

其它你可能感兴趣的问题