我熟悉当前流行的具有权重并接受反向传播和梯度下降训练的神经网络模型。
然而，我遇到了一种在 1980 年代和 1990 年代流行的不同类型的神经网络。Hopfield 网络是最经典的网络之一。这些神经网络模型在以下方面有所不同：
请看一下 1980 年代的这两篇论文：
具有分级响应的神经元具有类似于两个状态神经元的计算特性(JJ Hopfield)
非线性规划的神经网络(MP Kennedy & LO Chua)
在神经网络的早期，理论家和实践者接受了数学、心理学、神经生理学、电气工程和神经生物学方面的教育。计算机科学仍处于起步阶段。第一个神经网络被建模为电路。
Warren McCulloch 和 Walter Pitts [1] 的 1943 年论文以及 Rochester 等人 1956 年的论文都证明了这一点。[2]。
后一篇论文使用了诸如“电路”和“开关”之类的术语。尽管没有图纸，但论文中的一个想法是用“Eccles-Jordan 触发器电路”来解释的。Nathanial Rochester 设计了 IBM 701k [3] 并“率先尝试模拟神经网络”[4]
早在 1937 年 [5] 就根据“神经回路”对大脑结构进行了讨论。
我不确定第一个电路图何时出现在出版物中，但早期的神经网络设计者会这样考虑他们的实现是有道理的。
参考：
好吧，任何论文的目标都是让读者理解作者试图描述的内容。
很多人都有很多查看电路图并弄清楚这些电路的经验。对于这些人来说，电路图可能是他们了解特定事物如何工作的最清晰、最简单的方法。因此，作者将包含电路图是有道理的，以使这些人更容易理解这些概念。
电路图特别有可能出现在有关神经网络的论文中的原因有两个：
第一个原因是模拟电路与常微分方程密切相关，而数字电路与时序逻辑密切相关。因此，如果您有神经网络或使用常微分方程或时序逻辑的东西，那么电路图可能是表达其工作原理的简单方法。
第二个原因是很多熟悉计算机的研究人员也熟悉电子电路。在计算机的早期尤其如此，当时人们必须熟悉电子、数学或两者才能了解如何对计算机进行编程。