将输出节点连接到 RNN 中的下一个隐藏节点

数据挖掘 张量流 喀拉斯 rnn
2021-09-19 22:08:07

我正在尝试建立一个具有非常规架构的神经网络,并且无法弄清楚如何。通常我们有这样的连接,在哪里X= 输入, H= 隐藏层, Y= 输出层:

XtHtYt

HtHt+1

上面构建了正常的 Tensorflow 或 Keras 节点,我们最终得到连接每个组件的权重矩阵,即 Wxh,Whh,Why.

我还想介绍一个连接:

YtHt+1,由一个新的权重矩阵定义 Wyh.

我查看了 Tensorflow 和 Keras 的实现,并且有一个self.kernelWxh) 和self.recurrent_kernel(Whh),其中第二个是根据前一个隐藏节点的输出定义的prev_output = states[0],定义在这里。有没有人知道如何在后续步骤中访问输出层的输出?states[1]吗?如何states定义,在哪里记录?

感谢您提供的任何见解!

编辑:在有人问是之前,我认识到这种连接并不是绝对必要的。我试图了解通过网络节点的信息流。

0个回答
没有发现任何回复~