有诸如通用近似定理之类的东西。

也有对神经网络损失面的研究。

经典之类的就是对梯度消失问题的这种解释。

但恐怕神经网络的数学理论只存在于许多不同的论文中。许多最重要的问题目前只能凭经验回答。

Thomas Cover和David MacKay证明了感知器的能力。这个证明最近被扩展到神经网络。所有这些都为学习某些东西所需的参数数量提供了上限。

不是真的，我的意思是，从应用程序的角度来看，机器学习的核心通常是寻求产生人类水平的结果，但没有任何定理描述人类对现实的理解。

就像证明计算机视觉效果很好，本质上就像证明你对人类感知有正确的理解。

它变得有些循环，虽然存在某些数据质量的证据，但没有一个是真实的。我的意思是考虑尝试描述现实，它存在于低维流形上，但分析性地描述它？不要这么想。

即使证明稳健性最终也有些徒劳，因为即使您正确消除了对抗性示例，这并不意味着您的 CV 应用程序通常会产生正确的结果，只是分类是稳健的（稳健和正确是两件事）。