我正在阅读 Krizhevsky 等人的ImageNet Classification with Deep Convolutional Neural Networks论文，并在 Intro 段落中遇到了这些行：
它们的（卷积神经网络）能力可以通过改变它们的深度和广度来控制，它们还对图像的性质（即统计数据的平稳性和像素依赖性的局部性）做出了强有力的且大部分正确的假设。因此，与具有相似大小层的标准前馈神经网络相比，CNN 的连接和参数要少得多，因此它们更容易训练，而它们理论上的最佳性能可能只是稍差一些。
“统计的平稳性”和“像素依赖的局部性”是什么意思？还有，说CNN理论上最好的性能只比前馈NN差一点的依据是什么？
像素依赖的局部性可能意味着相邻像素往往是相关的，而远处的像素通常是不相关的。这种假设通常在几种图像处理技术（例如过滤器）中做出。当然，邻域的大小和形状可能会有所不同，具体取决于图像的区域（或其他），但在实践中，通常选择固定的矩形（或正方形）。
统计的平稳性可能意味着像素的值不会随时间变化，因此这可能与图像处理中的扩散技术有关。统计的平稳性也可能意味着像素的值在空间邻域中变化不大，尽管平稳性，例如在强化学习中，通常意味着某些东西不会随着时间而改变（所以，如果是这种情况，术语在这种情况下，平稳性至少会产生误导和混淆），因此这可能与像素依赖属性的局部性有关。可能是统计的平稳性也可能间接意味着您可以使用相同的过滤器来检测图像不同区域中的相同特征。
虽然它们理论上最好的性能可能只是稍微差一点，但作者可能认为，理论上，CNN 不如前馈神经网络强大。然而，CNN 和 FFNN 都是通用函数逼近器（但是，当时可能没有人认真研究过 CNN 的理论强大功能）。