如果我们将序列数据输入前馈网络会怎样?

数据挖掘 神经网络 rnn
2022-02-24 15:07:59

RNN 的一个主要优点是能够像序列一样接受可变长度的输入。但是,如果我们忽略这种情况并假设某些应用程序可以接受某些固定的输入窗口会怎样。比如天气预报。例如,我们可以输入过去 300 天的温度,以允许网络预测新的温度。我们可以一直修复这个 300 的窗口,以便我们有一个固定长度的输入。

我现在的问题是,如果我们在这种情况下忽略 RNN,并将这个 300 天的窗口输入到一个具有 300 个输入维度和一个为其进行回归的输出的前馈网络中怎么办?与 RNN 相比,输出将是什么?换句话说,为什么我应该在这种情况下使用 RNN?

2个回答

有限脉冲响应 (FIR) RNN 可以表示为有向无环图 (DAG),因此它可以表示为 FFNN。因此,在这种情况下,理论上您可以制作与 RNN 等效的 FFNN。

在非等效模​​型之间的性能方面,RNN 可能会更好,因为它们本质上是为顺序数据设计的。在天气统计预测的情况下,序列元素的时间性质需要由 FFNN 学习,而 RNN 将具有这种关系的内置知识。RNN 还能够通过 LSTM 等中常见的门控机制更容易地利用“记忆”。

这完全取决于与标签相关的数据的性质。

例如,如果对输入序列进行适当分类所需的只是知道某些固定点的值,那么仅仅多层感知器 (MLP) 就可以做到。

但是,如果为了正确分类需要查看趋势,则 MLP 可能不会表现得那么好(这当然取决于实际数据)。

如果可能是标签依赖于每日值中的某些局部模式的情况。在那种情况下,也许一维卷积网络可以做得很好,因为局部模式检测正是它们的归纳偏差。

循环网络的归纳偏差本质上是顺序的,因此当在一个又一个值的情况下可以获得预测时,它是相当好的。当然,由于梯度消失的问题,人们通常使用 LSTM 或 GRU 而不是 vanilla RNN。

最后,前馈的自注意力网络是目前最先进的自然语言处理。这些变相的图神经网络通常可以获得比 LSTM 更好的文本表示。

所以,总结一下:完全有可能在顺序数据上使用前馈网络。