我正在尝试创建一个具有单字符记忆的 RNN。这是我基于 M-GRU（最小门控循环单元）的模型：

$$f_t = \sigma (W_f[h_t,x_t]+b_f)$$ $$\tilde{h_t} = \tanh(W_h[h_t,x_t]+b_h)$$ $$h_{t+1} = (1-f_t)*\tilde{h_t} + f_t*h_t$$

$x_t$是输入和$h_t$是RNN的隐藏状态。$f$是状态的更新门。

然后我有向量的第一个和第二个元素$h_t$具有特殊的意义，是设置或获取记忆的力量。$s=h_t[0]$,$g=h_t[1]$

这将输入添加到记忆中的强度$s$然后softmaxed

$$m_{t+1} = softmax( m_{t} + s x_t )$$

然后候选输出是（如果没有 tanh，它似乎泛化得不太好，但收敛得更好）：

$$c = tanh(W_c h_{t+1}+b_c)$$

然后通过添加强度为 g 的内存来给出实际输出：

$$o_{t+1} = softmax( c + g m_{t+1} )$$

然后它通过$h_{t+1}$和$m_{t+1}$进入下一个时间步。

然后我在一些数据“21（22）52（33）5421（44）32112（99）1232（33）132 ...”上进行了尝试，其中除了括号内之外基本上是随机数。然后我尝试给它一个起始字符串“（x”，如果它成功工作它应该输出“x）”，即使它以前从未见过字符“x”。

它几乎可以工作，但并不能很好地融合。这是一个典型的输出：

“(xx)7456725(11)9756x89994x548(33)383351051)(44)9887))1039(11))5407(77)953201(99)x1x85)53)(99))3846”

你知道有没有更好的模型可以做得更好（但比神经图灵机更简单）？