如果可以使用晶体管来实现神经元和突触,那么是什么阻止我们使用与制造 GPU 相同的方法来创建任意大的神经网络?
从本质上讲,我们已经看到了在顺序处理器上实现的虚拟神经网络是如何工作的(甚至 GPU 也是顺序机器,但具有大量内核)。
可以想象,使用 GPU 设计原则——基本上是让数千个可编程处理单元并行工作——我们可以制造更简单的“神经元处理单元”,并将数百万或数十亿个 NPU 放在一个大芯片中。它们将拥有自己的内存(用于存储权重)并通过共享总线连接到数百个其他神经元。它们可以具有例如 20 Hz 的频率,这将允许它们与许多其他神经元共享数据总线。
显然,这里存在一些电气工程挑战,但在我看来,所有大型科技公司现在都应该探索这条路线。
许多人工智能研究人员表示,超级智能将在 2045 年左右出现。我相信他们的推理是基于摩尔定律以及我们能够在我们拥有的最快计算机上运行的软件中实现的神经元数量。
但事实是,我们今天正在制造带有数十亿晶体管的硅芯片。SPARK M7 拥有 100 亿个晶体管。
如果实现一个(非可编程)神经元和数百个突触需要例如 100 000 个晶体管,那么我们可以在硬件中制作一个模拟 100 000 个神经元的神经网络。
如果我们设计这样一个芯片,如果我们想要更多的神经元,我们可以简单地把它做得更大,那么在我看来,任意大的神经网络只是一个预算问题。
我们在技术上是否能够使用当前技术在硬件上制造任意大型的神经网络?
请记住:我不是在问这样的网络是否真的会非常智能。我只是想问,如果我们决定付钱给英特尔来做这件事,我们是否真的可以制造出任意大型、高度互连的神经网络?
这意味着,在某些科学家能够在软件中创造通用智能的那一天,我们可以利用我们的硬件能力将这种通用智能发展到人类水平甚至更高。