我认为这不会是一个非常令人满意的答案,因为它在某种程度上是定义上的证明,但我相信它仍然是正确的(尽管不是很数学)。
谁能提供一个不能被前馈捕获但可以被 RNN 很好逼近的函数族的例子?
不。至少如果我们接受这个函数的定义,就不会;
...一组输入和一组允许输出之间的关系,每个输入都与一个输出相关。[维基百科]
如果我们想象一些假设函数的某个向量进行操作,并且还不能由任何前馈神经网络表示,我们可以简单地使用作为传递函数,瞧,我们可以现在构建一个简单的感知器,它执行的功能的超集;ψ(x)xψ(x)ψ(x)
f(x)=ψ(b+wx)
我将把它作为练习留给读者来确定我们需要哪些偏差值和权重向量,以使我们的感知器输出模仿我们的神秘函数 !bwf(x)ψ(x)
RNN 唯一能做而前馈网络不能做的事情就是保留状态。由于输入仅映射到单个输出的要求,函数不能保留状态。因此,通过上述扭曲的示例,我们可以看到前馈网络可以做任何事情(但不能超过)任何功能(连续或其他)。
注意:我想我已经回答了你的问题,但我认为值得指出一点警告;虽然不存在不能被前馈网络映射的函数,但肯定有比前馈网络更适合 RNN 的函数。任何以函数内的特征集很容易表示为先前结果的转换的方式排列的函数可能更适合 RNN。
这方面的一个例子可能是找到斐波那契数列的第n个数字,如果输入是按顺序呈现的;
F(x)=F(x−1)+F(x−2)
RNN 可以通过仅使用一组线性变换函数来有效地逼近这个序列,而无状态函数或前馈神经网络需要逼近 Fibonacci 序列的函数解:
F(x)=ϕn−ψn5√
其中是黄金比例,。ϕψ≈1.618
正如您可以想象的那样,考虑到神经网络设计者可用的通常的传递函数数组,第一个变体更容易近似。