机器算法验证 - 使用递归神经网络进行时间序列分析的正确方法 - 吾爱随笔录

使用递归神经网络进行时间序列分析的正确方法

机器算法验证时间序列机器学习神经网络

2022-02-04 02:00:18

循环神经网络与“常规”神经网络的不同之处在于它们具有“记忆”层。由于这一层，循环神经网络应该在时间序列建模中很有用。但是，我不确定我是否正确理解如何使用它们。

假设我有以下时间序列（从左到右）：，[0, 1, 2, 3, 4, 5, 6, 7]我的目标是使用点预测i-th 点i-1并i-2作为输入（对于每个i>2）。在“常规”、非重复的人工神经网络中，我会按如下方式处理数据：

 target| input
      2| 1 0
      3| 2 1
      4| 3 2
      5| 4 3
      6| 5 4
      7| 6 5

然后，我将创建一个具有两个输入和一个输出节点的网络，并使用上面的数据对其进行训练。

在循环网络的情况下，需要如何改变这个过程（如果有的话）？

3个回答

您所描述的实际上是一种“滑动时间窗口”方法，与循环网络不同。您可以将此技术与任何回归算法一起使用。这种方法有一个巨大的限制：输入中的事件只能与最多相隔 t 时间步长的其他输入/输出相关联，其中 t 是窗口的大小。

例如，您可以想到一个 t 阶马尔可夫链。RNN 在理论上不会受此影响，但在实践中学习很困难。

最好将 RNN 与前馈网络进行对比。考虑（非常）简单的前馈网络，其中是输出，是权重矩阵，是输入。 $y = Wx$ $y$ $W$ $x$

现在，我们使用循环网络。现在我们有一个输入序列，所以我们将用表示第 i 个输入的输入。然后通过计算相应的第 i 个输出。 $x^{i}$ $y^{i} = Wx^i + W_ry^{i-1}$

因此，我们有另一个权重矩阵，它将上一步的输出线性地合并到当前输出中。 $W_r$

这当然是一个简单的架构。最常见的是一种架构，其中您有一个隐藏层，该隐藏层循环连接到自身。让表示时间步 i 处的隐藏层。那么公式是： $h^i$

h^{0} = 0

$h^0 = 0$

h^{i} = σ (W_{1} x^{i} + W_{r} h^{i - 1})

$h^i = \sigma(W_1x^i + W_rh^{i-1})$

y^{i} = W_{2} h^{i}

$y^i = W_2h^i$

其中是一个合适的非线性/传递函数，如 sigmoid。和是输入和隐藏层以及隐藏层和输出层之间的连接权重。表示循环权重。 $\sigma$ $W_1$ $W_2$ $W_r$

下面是结构图：

示意图

您也可以考虑简单地对输入数据使用一些时间序列的转换。仅举一个例子，输入可能是：

最近的间隔值 (7)
下一个最近的间隔值 (6)
最近和下一个最近之间的增量 (7-6=1)
第三个最近的间隔值 (5)
第二个和第三个最近的 delta (6-5=1)
最后三个区间的平均值 ((7+6+5)/3=6)

因此，如果您对传统神经网络的输入是这六段转换后的数据，那么对于普通的反向传播算法来说，学习该模式并不是一项艰巨的任务。但是，您必须为获取原始数据并将其转换为神经网络的上述 6 个输入的转换进行编码。

另一种可能性是历史一致性神经网络（HCNN）。这种架构可能更适合上述设置，因为它们消除了输入变量和输出变量之间经常存在的任意区别，而是尝试通过所有可观察的训练来复制整个系统的完整底层动态。

当我在西门子工作时，我在 Springer Verlag 的一本书中发表了一篇关于这种架构的论文：

Zimmermann、Grothmann、Tietz、von Jouanne-Diedrich：使用历史一致的神经网络进行市场建模、预测和风险分析。

只是为了给出一个关于范式的想法，这里是一个简短的摘录：

在本文中，我们提出了一种新型的循环神经网络，称为历史一致性神经网络 (HCNN)。HCNN 允许在多个时间尺度上对高度交互的非线性动力系统进行建模。HCNN 不区分输入和输出，而是对嵌入在大状态空间的动态中的可观察对象进行建模。

[...]

RNN 用于使用非线性回归方法对开放动态系统进行建模和预测。然而，许多现实世界的技术和经济应用必须在各种（非线性）动力学及时相互作用的大型系统的背景下看待。投影在模型上，这意味着我们不区分输入和输出，而是谈论可观察的。由于大型系统的部分可观察性，我们需要隐藏状态来解释可观察的动态。模型应该以相同的方式处理可观察变量和隐藏变量。术语 observables 包含输入和输出变量（即 $Y_τ := (y_τ, u_τ)$ ）。如果我们能够实现一个模型，其中可以描述所有可观察的动态，我们将能够关闭开放系统。

...从结论中：

大型递归神经网络中隐藏变量和观察变量的联合建模为规划和风险管理提供了新的前景。基于 HCNN 的集成方法提供了一种预测未来概率分布的替代方法。HCNN 完美地描述了过去可观察的动态。然而，世界的部分可观察性导致隐藏变量的非唯一重建，从而导致不同的未来情景。由于动态的真实发展是未知的，并且所有路径具有相同的概率，因此可以将集合的平均值视为最佳预测，而分布的带宽则描述了市场风险。今天，我们使用 HCNN 预测来预测能源和贵金属的价格，以优化采购决策的时机。

现在终于可以在此处获得该论文的全部内容了：Zimmermann、Grothmann、Tietz、von Jouanne-Diedrich：使用历史一致的神经网络进行市场建模、预测和风险分析。

其它你可能感兴趣的问题

上一篇神经网络和深度信念网络有什么区别？下一篇有哪些好的基本统计数据可用于序数数据？