通用逼近定理说，在激活函数的某些条件下，您可以使用前馈神经网络逼近任何有界连续函数。
我相信这个结果可以扩展到 LSTM，因为通过某些选择，LSTM 可以简化为前馈网络。
LSTM 是否有更强的结果？
LSTM 是否有更强的通用逼近定理？
机器算法验证
神经网络
收敛
lstm
2022-04-02 06:03:31
1个回答
之前有 RNN 的图灵完备的结果：Siegelmann 1992 , Korsky 2019。（它们有一些细微的技术差异）。我找到了这个答案，其中包含有关证明的更多技术细节。
图灵完备性应该是比通用逼近更强的陈述，因为存在完全可计算但无界或不连续的函数。
我知道任何可计算的实值总函数都是连续的结果（见这里）。我真的没有对此发表评论的专业知识，只是说我仍然确定图灵完备性仍然严格比通用逼近更强大。