Hopfield 网络能够存储一个向量并从它的嘈杂版本开始检索它。他们这样做是为了在所有神经元都设置为等于向量值时最小化能量函数，并使用它的噪声版本作为输入来检索向量，并允许网络稳定到能量最小值。

撇开无法保证网络会稳定在最接近的最小值等问题不谈——这些问题最终用玻尔兹曼机解决，最终用反向传播解决——突破是它们是具有抽象表示的起点。同一文档的两个版本会调用相同的状态，它们将在网络中由相同的状态表示。

正如 Hopfield 本人在他 1982 年的论文《具有新兴集体计算能力的神经网络和物理系统》中所写

然后，当前的建模可能与实体或格式塔如何根据表示其特征集合的输入被记住或分类有关。

另一方面，深度学习的突破是能够构建输入的多个分层表示，最终使 AI 从业者的生活更轻松，简化特征工程。（参见例如表示学习：回顾和新观点，Bengio，Courville，Vincent）。

从概念的角度来看，我相信可以将深度学习视为对 Hopfield 网络的概括：从单一表示到表示的层次结构。

从计算/拓扑的角度来看也是如此吗？不考虑 Hopfield 网络有多“简单”（2 态神经元、无向、能量函数），我们可以将网络的每一层视为 Hopfield 网络，而将整个过程视为对先前记忆的格式塔的顺序提取，以及对这些格式塔？