RNN 与卷积一维

机器算法验证 机器学习 神经网络 卷积神经网络 循环神经网络
2022-04-05 01:25:11

直观地说,RNN 和 1D 卷积网络是否或多或少相同?我的意思是两者的输入形状都是 3-D 张量,RNN 的形状(batch, timesteps, features)1D conv nets 的形状是(batch, steps, channels)它们都用于涉及时间序列、NLP 等序列的任务。所以我的问题是这样的,

一维卷积网络中的步骤和通道是否类似于 RNN 中的时间步骤和特征?如果是,那么为什么我们不使用 Conv 1D 来解决时间序列问题而不是 RNN,因为它们与 RNN 相比要快得多?

请注意,这不是直接比较,我知道它们在架构级别上的工作方式不同,但我只是想获得一个高级别的概述。

1个回答

是的,在这两种情况下,尺寸的解释都非常相似。

RNN 更容易使用的一个重要案例是未知长度的数据。例如,在句子翻译(例如将中文翻译成冰岛语)中,输入和输出的大小都是动态的。在这种情况下,使用 RNN 比在 CNN 中试穿更容易、更直观。

相反,如果您的任务更接近于固定长度序列的分类,那么您的直觉似乎是正确的。根据我的经验,在这种情况下,通常 1D CNN 的训练速度更快,性能也更好。