给定一个时间序列为了预测,让我们考虑以下形式的 Arma 模型:
在哪里是预测误差。
在火车上,如果是基本事实,那么我们将使用该模型获得的估计定义为.
让,我们可以将第一个方程改写为:
然后再参数化后可以改写为:
这是没有激活函数的 1 层递归神经网络 (RNN) 的方程。
那么,Arma 模型是 RNN 的一个子集,还是这种推理存在缺陷?
给定一个时间序列为了预测,让我们考虑以下形式的 Arma 模型:
在哪里是预测误差。
在火车上,如果是基本事实,那么我们将使用该模型获得的估计定义为.
让,我们可以将第一个方程改写为:
然后再参数化后可以改写为:
这是没有激活函数的 1 层递归神经网络 (RNN) 的方程。
那么,Arma 模型是 RNN 的一个子集,还是这种推理存在缺陷?
这是正确的。听起来很奇怪的原因是没有激活函数的 1 层神经网络只是一个线性映射,所以它等效于任何线性模型,唯一的区别是输入有一些解释。
这甚至适用于任何 NN,无论层数如何,没有激活函数。原因:k-layer-NN 只是 k 矩阵乘法(=线性映射),其间有激活函数。如果你删除后者,你会留下一长串矩阵,你可以简单地乘以得到一个现在定义你的线性映射的矩阵。
许多深度学习研究得出的结论是,让网络能够创建非线性映射是深度学习如此强大的原因,即使在使用 ReLU 等看似简单的激活函数时也是如此。