人工智能 - 两个相同的神经网络何时会出现不相关的错误？ - 吾爱随笔录

在第 9 章第 9.1.6 节中，Raul Rojas 描述了网络委员会如何通过训练 N 个相同的神经网络并对结果进行平均来减少预测误差。

如果 $f_i$ 是由近似的函数 $N$ 神经网络，然后：

\begin{matrix} (9.4) & Q = {| \frac{1}{N} (1, 1, \dots, 1) E |}^{2} = \frac{1}{N^{2}} (1, 1, \dots, 1) E E^{T} (1, 1, \dots, 1)^{T} \end{matrix}

$Q=\left|\frac{1}{N}(1,1, \ldots, 1) \mathbf{E}\right|^{2}=\frac{1}{N^{2}}(1,1, \ldots, 1) \mathbf{E} \mathbf{E}^{\mathrm{T}}(1,1, \ldots, 1)^{\mathrm{T}}\tag{9.4}\label{9.4}$ 是网络平均值的二次误差，其中

E = (\begin{array}{cccc} e_{1}^{1} & e_{2}^{1} & \dots & e_{m}^{1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ e_{1}^{N} & e_{2}^{N} & \dots & e_{m}^{N} \end{array}),

$\mathbf{E}=\left(\begin{array}{cccc} e_{1}^{1} & e_{2}^{1} & \cdots & e_{m}^{1} \\ \vdots & \vdots & \ddots & \vdots \\ e_{1}^{N} & e_{2}^{N} & \cdots & e_{m}^{N} \end{array}\right),$ 和

E

$\mathbf{E}$ 的行是近似值的误差

N

$N$ 函数，即

e^{i} = f_{i} (x^{i}) - t_{i}

$\mathbf{e}^{i} = f_i(\mathbf{x}^{i}) - t_i$ , 对于每个输入-输出对

(x^{1}, t_{1}), \dots, (x^{m}, t_{m})

$\left(\mathbf{x}^{1}, t_{1}\right), \ldots,\left(\mathbf{x}^{m}, t_{m}\right)$ 用于训练。

有没有办法确保神经网络的错误与其他网络的错误不相关？

Raul Rojas 说残差的不相关性对于不太大的 $N$ （IE $N < 4$ ）。这是为什么？