在关于神经网络发展和深度学习历史的视频讲座中（可以从第 13 分钟开始），讲师（Yann LeCunn）表示，神经网络的发展直到 80 年代才停止，因为人们使用了错误的神经元（这是二进制如此不连续），这是由于浮点数相乘的速度很慢，这使得反向传播的使用非常困难。
他说，我引用，“如果你有连续的神经元，你需要将一个神经元的激活乘以一个权重，以获得对加权和的贡献。”
但即使对于二元（或任何不连续的激活函数）神经元，该陈述仍然成立。我错了吗？（至少，只要你在隐藏层，你的神经元的输出就会乘以我猜的权重）。同一位教授说感知器 ADALINE 依赖于加权和，因此他们无论如何都在计算乘法。
我不知道我在这里想念什么，希望有人能启发我。
我将首先解决您的主要问题“为什么神经网络的发展在 50 到 80 年代之间停止了？” 在 40-50 年代取得了很大进步（McCulloch 和 Pitts）；感知器被发明（Rosenblatt）。这引发了人工智能的炒作，给出了许多承诺（就像今天一样）！
然而，Minsky 和 Papert 在 1969 年证明，单层架构不足以构建通用逼近机（参见例如 Minsky, M. & Papert, S. Perceptrons: An Introduction to Computational Geometry, vol. 165 (1969) ）。这导致了“AI”的第一次失望。一直持续到 1980 年代的几个重大突破：Cybenko 证明了多层感知器的通用逼近能力、反向传播算法的普及（Hinton 及其同事）等。
我同意 LeCun 的观点，即使用连续激活函数在当时启用了反向传播算法。直到最近，我们才学会了在具有二元激活函数的网络中进行反向传播（2016 年！）。