递归神经网络和递归神经网络之间有什么关系吗?

人工智能 比较 循环神经网络 递归神经网络
2021-11-12 14:17:45

递归神经网络,简称 RNN,广泛用于深度学习文献,尤其是文本处理。

它们是否与递归神经网络有任何关系?

我要求的是一般/特殊关系,如果可能的话,使我们能够从另一个角度看待一个。

1个回答

是的,递归神经网络(recursive NN)与递归神经网络(RNNs)有关,因为它们泛化了后者(至少在结构上),如深度学习书的第 10.6 节所述,类似于树泛化的方式一个列表/数组。

因此,在列表/数组中,元素e1连接到元素e2,它连接到元素e3, 等等。在树中,元素e1可以连接到多个其他元素(节点),并且同样适用于其他元素,前提是没有循环,否则,您会得到一个图,它是树的概括。

如果这些解释尚不清楚,了解两者之间区别的最佳方法是查看 RNN 和递归 NN 的图表。

这是一个RNN。

在此处输入图像描述

标题应描述图表(以防不清楚)。需要注意的重要一点是,在左侧,我们有一个 RNN,它看起来像一个列表。

这是一个递归NN。

在此处输入图像描述

看起来像一棵树。

RNN 有很多变体(例如双向 RNN、多层 RNN、LSTM 或 GRU)和递归 NN(例如尝试平衡树,类似于红黑树是平衡二叉搜索树的方式) ,因此我们无法提供有关这两种方法之间差异的所有详细信息。

但是,应该记住一些事情

  • 递归神经网络可以在解析树的上下文中使用
  • 递归神经网络已被用于处理数据结构作为神经网络的输入
  • 递归神经网络中的节点不一定执行线性运算,然后执行非线性运算