似乎这个问题在 Dmitry Yarotsky 最近的这篇文章中得到了肯定的回答：神经网络中不变映射的通用近似。

文章表明，只要卷积神经网络足够宽，任何平移等变函数都可以任意近似地近似，这与经典的通用逼近定理直接相似。

这是一个有趣的问题，然而，它确实缺乏适当的说明什么被认为是卷积神经网络。

网络必须包含卷积操作的唯一要求是什么？它必须只包括卷积操作吗？是否允许合并操作？实践中使用的卷积网络使用了操作的组合，通常包括全连接层（一旦你有一个全连接层，你就有了理论上的通用逼近能力）。

为了给您提供一些答案，请考虑以下情况：输入和输出的全连接层。您可以使用 2 个卷积层来模拟此操作：$D$$K$$W \in \mathbb R ^{K\times D}$

1. 第一个具有形状为 D 的过滤。过滤器的元素等于，其余为零。该层将输入转换为维中间空间，其中每个维表示权重及其相应输入的乘积。$K\times D$$D$$d$$k,d$$W_{k,d}$$KD$

2. 第二层包含个形状为的过滤器。过滤器的元素为1，其余为 0。该层对前一层的产品进行求和。$K$$KD$$kD\ldots(k+1)D$$k$

这种卷积网络模拟了一个完全连接的网络，因此具有相同的通用逼近能力。您可以考虑这样一个示例在实践中的用处，但我希望它能回答您的问题。

参见Ding-Xuan Zhou的论文Universality of Deep Convolutional Neural Networks，他表明卷积神经网络是通用的，即当神经网络的深度足够大时，它们可以将任何连续函数逼近到任意精度。