数据挖掘 - RNN 中的参数数量 - 吾爱随笔录

数据挖掘深度学习 rnn

2021-09-17 00:23:30

我正在使用一个基本的 RNN，如下图所示（比如翻译）。该模型具有以下结构：

\begin{aligned} s_{t} & = \tanh (U x_{t} + W s_{t - 1}) \\ o_{t} & = s o f t m a x (V s_{t}) \end{aligned}

$\begin{aligned} s_t &= \tanh(Ux_t + Ws_{t-1}) \\ o_t &= \mathrm{softmax}(Vs_t) \end{aligned}$

假设 m 是词汇量大小，n 是隐藏层的词汇量。
如果 $x_{t}=\{0,1\}^{m}$ U 是一个 $n \times m$ 矩阵，那么 W 是 $n \times n$ 矩阵。
如果 $o_{t}$ 是 $\mathbb{R}^{k}$ 和 $s_{t}$ 是 $\mathbb{R}^{n}$ 那么 V 是一个 $k \times n$ 矩阵。

这个 RNN 模型的 # 参数是什么？

2个回答

实体 W 、 U 和 V 由 RNN 的所有步骤共享，这些是图中描述的模型中的唯一参数。因此，训练时要学习的参数数量 = $dim(W)+ dim(V)+ dim(U)$ .

根据问题中的数据，这= $n^{2}+ kn + nm$ .

在哪里，

如果不包括偏见，这是正确的。通过包括偏差（ $b_o$ 和 $b_h$ ）。中的参数数量 $b_o$ 等于输出的数量 (k) 和参数的数量 $b_h$ 等于隐藏层数 (n)。因此最终值为：

$n^2 + n + mn + kn + k$

其它你可能感兴趣的问题