什么是证明

该问题参考了 Sigmoidal 函数的叠加近似证明，G. Cybenko，1989，控制、信号和系统的数学。

1989 年的证明表明，由“具有连续 sigmoidal 非线性”的激活组成的网络可以“均匀地逼近 n 个实变量的任何连续函数”，因此，正如问题所述，证明不'不直接应用于 1 位离散输出。请注意，预计网络仅近似于所需的电路行为。

该问题将系统定义为来自输入位向量的任意映射

$I: { i_1, \; \dots, \; i_n}$

输出位向量

$O: { o_1, \; \dots, \; o_n}$

进一步证明，这种映射可以通过每个输出位的一个布尔表达式来完成。对所有人$2^n$可能的输入向量排列，存在一个由 AND 和 NOT 运算组成的布尔表达式，计算与任意逻辑真值表匹配的结果。

有一些技术可以减少布尔表达式阵列中的冗余，这对 VLSI 芯片布局至关重要。

如果网络中除了衰减矩阵（参数）之外的任何地方都没有保留状态，系统就不是图灵完备的。然而，关于在描述映射中实现布尔表达式的能力，给定任意数量的层，网络是完整的。

估计层深度要求

在 1989 年的证明中只需要一个内层，那么要学习准确的 n 位到 n 位映射需要多少层？

问题提出有$2^n$的力量$2^n$排列。每个输入位向量到所需输出位状态的映射可以用一个真值表表示$n$二进制维度。

每个输出是一个独立的位，这意味着$2^n$可以产生每个输出位的唯一布尔函数的位表示不绑定到任何其他输出通道。正如所料，有$2n$I 到 O 映射的运动自由度。

对于输入是位向量的情况$n$位，在哪里$n$是任何一个的激活次数$L$层，网络中的激活总数$a_t$以及所有衰减矩阵的标量元素总数（表示训练状态的参数）$q_t$对于网络如下。

$a_t = \sum_{\, 0 = v}^{L - 1} \; n_v$

$= n \, L$

$p_t = \sum_{\, 0 = v}^{L - 2} \; n_v^2$

$= n^2 \, (L-1)$

如果衰减矩阵中的每个元素都使用 IEEE 64 位浮点数，我们可以计算训练参数化中可用的位数。

$b_t = 64 \, (L - 1) \, n^2$

今天对除最后一层以外的所有层使用 ReLU、leaky ReLU 或其他更快的收敛激活而不是 sigmoid 并为最后一层使用简单的二进制阈值是很正常的。

因此，我们有一个由问题推断的信息论比较的公式，并且可以减少它。

$2^{2n} \le 64 \, (L - 1) \, n^2$

$L \ge 1 + \frac {2^{2n-6}} {n^2}$

这是一个粗略的门槛。对于二进制输入到二进制输出的高度可靠的训练，层数应该远高于阈值。

低于阈值，由于反向传播机制中的信号饱和，映射的可训练性将退化为大多数应用程序的不充分近似。