我正在阅读 Michael Nielsen关于深度学习的书。在第一章中，他给出了对 10 个手写数字进行分类的经典例子，并用它来解释选择输出神经元数量背后的直觉。

最初，在阅读这本书之前，我认为你需要 10 个输出神经元，每个代表一个给定的数字，这很直观，但我开始质疑我为什么这么认为。

无论如何，尼尔森是这样解释的：

您可能想知道为什么我们使用 10 个输出神经元。毕竟，网络的目标是告诉我们哪个数字 (0,1,2,…,9) 对应于输入图像。一种看似自然的方法是仅使用 4 个输出神经元，将每个神经元视为取二进制值，具体取决于神经元的输出是接近 0 还是接近 1。四个神经元足以编码答案，因为 2 ^4=16 多于输入数字的 10 个可能值。为什么我们的网络应该使用 10 个神经元呢？这不是低效吗？最终的理由是经验性的：我们可以尝试两种网络设计，结果证明，对于这个特定的问题，具有 10 个输出神经元的网络比具有 4 个输出神经元的网络学习识别数字更好。但这让我们想知道为什么使用 10 个输出神经元效果更好。是否有一些启发式方法可以提前告诉我们应该使用 10 输出编码而不是 4 输出编码？为了理解我们为什么要这样做，从第一原理开始思考神经网络在做什么是有帮助的。首先考虑我们使用 10 个输出神经元的情况。让我们专注于第一个输出神经元，它试图确定数字是否为 0。它通过权衡来自神经元隐藏层的证据来做到这一点。那些隐藏的神经元在做什么？好吧，为了论证起见，假设隐藏层中的第一个神经元检测是否存在如下图像：它有助于从第一原理思考神经网络在做什么。首先考虑我们使用 10 个输出神经元的情况。让我们专注于第一个输出神经元，它试图确定数字是否为 0。它通过权衡来自神经元隐藏层的证据来做到这一点。那些隐藏的神经元在做什么？好吧，为了论证起见，假设隐藏层中的第一个神经元检测是否存在如下图像：它有助于从第一原理思考神经网络在做什么。首先考虑我们使用 10 个输出神经元的情况。让我们专注于第一个输出神经元，它试图确定数字是否为 0。它通过权衡来自神经元隐藏层的证据来做到这一点。那些隐藏的神经元在做什么？好吧，为了论证起见，假设隐藏层中的第一个神经元检测是否存在如下图像：

它可以通过对与图像重叠的输入像素进行大量加权来做到这一点，并且只对其他输入进行轻微加权。以类似的方式，为了论证，我们假设隐藏层中的第二、第三和第四个神经元检测是否存在以下图像：

您可能已经猜到了，这四个图像共同构成了我们在前面显示的数字行中看到的 0 图像：

因此，如果所有四个隐藏的神经元都在放电，那么我们可以得出数字是 0 的结论。当然，这不是我们可以用来推断图像是 0 的唯一证据——我们可以合法地得到 0许多其他方式（例如，通过上述图像的翻译或轻微扭曲）。但似乎可以肯定地说，至少在这种情况下，我们可以得出输入是 0 的结论。

假设神经网络以这种方式运行，我们可以给出一个合理的解释，解释为什么网络有 10 个输出而不是 4 个更好。如果我们有 4 个输出，那么第一个输出神经元将试图决定最数字的重要位是。并且没有简单的方法可以将最重要的位与上面所示的简单形状相关联。很难想象数字的组件形状将与（例如）输出中最重要的位密切相关，这有什么好的历史原因。

现在，尽管如此，这只是一个启发式。没有什么说三层神经网络必须以我描述的方式运行，隐藏的神经元检测简单的组件形状。也许一个聪明的学习算法会找到一些权重分配，让我们只使用 4 个输出神经元。但作为一种启发式思维方式，我所描述的思维方式非常有效，并且可以为您节省大量时间来设计良好的神经网络架构。

我不明白他在倒数第二段中的意思。我将其余的内容包括在内，但倒数第二段让我感到困惑。有人可以澄清他在说什么吗？