Arma 模型是否相当于没有激活函数的 1 层递归神经网络?

数据挖掘 神经网络 统计数据 rnn 预报 预测
2021-09-28 05:58:42

给定一个时间序列f(t)为了预测,让我们考虑以下形式的 Arma 模型:

f(t)=c+i=1paif(ti)+e(t)+j=1qbje(tj)

在哪里e(t)是预测误差。

在火车上,如果f(t)是基本事实,那么我们将使用该模型获得的估计定义为f~(t)=f(t)+e(t).

m=min(p,q),我们可以将第一个方程改写为:

f~(t)=c+i=1m(ai+bi)f(ti)+i=m+1paif(ti)j=1qbjf~(tj)
然后再参数化后可以改写为:
f~(t)=c+i=1kcif(ti)j=1qbjf~(tj)
这是没有激活函数的 1 层递归神经网络 (RNN) 的方程。

那么,Arma 模型是 RNN 的一个子集,还是这种推理存在缺陷?

1个回答

这是正确的。听起来很奇怪的原因是没有激活函数的 1 层神经网络只是一个线性映射,所以它等效于任何线性模型,唯一的区别是输入有一些解释。

这甚至适用于任何 NN,无论层数如何,没有激活函数。原因:k-layer-NN 只是 k 矩阵乘法(=线性映射),其间有激活函数。如果你删除后者,你会留下一长串矩阵,你可以简单地乘以得到一个现在定义你的线性映射的矩阵。

许多深度学习研究得出的结论是,让网络能够创建非线性映射是深度学习如此强大的原因,即使在使用 ReLU 等看似简单的激活函数时也是如此。