我想问你，我们怎么知道神经网络从学习小的、基本的特征或数据的“部分”开始，然后在我们遍历层时使用它们来构建更复杂的特征。我已经听过很多次了，也曾在 3Blue1Brown on 神经网络上用于数字识别的视频中看到它。它说在第一层中，神经元学习并检测小边缘，然后第二层的神经元开始了解更复杂的图案，如圆圈......但我无法根据纯数学来弄清楚它是如何可能的。
我们怎么知道人工神经网络的神经元是从学习小特征开始的？
人工智能
神经网络
卷积神经网络
深度神经网络
特征
表征学习
2021-10-18 17:28:16
2个回答
我们通过实验进行；您可以通过调整整个网络中的各种值并进行梯度上升来查看每一层正在学习的内容。有关更多详细信息，请观看本讲座：https ://www.youtube.com/watch?v=6wcs6szJWMY&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv&index=12它提供了许多用于准确了解模型在某一层做什么以及哪些特征的方法它已经学会了。
网络架构与这个问题有关。
卷积神经网络架构强制构建特征，因为较早层中的神经元可以访问少量输入像素。更深层的神经元（间接）连接到越来越多的像素，因此它们识别越来越大的特征是有道理的。许多在线可用的视觉示例，例如曲线、圆、动物的一部分、整个动物，都是基于卷积网络的。另一个答案中哈佛讲座的漂亮例子使用了卷积网络。
话虽如此，每一层都增加了复杂性，包括像 3Blue1Brown 这样的密集架构。只是这是一个更抽象的“非线性增加”，而不是空间特征大小。根据网络正在学习的任务，较早的层将更加“基本”，但它们的神经元可能会使用大面积的输入。