有一类神经网络更接近地尝试通过合并时间来模拟生物神经网络（即并非所有神经元同时触发）。它们被称为脉冲神经网络(SNN)，它们的名称来自于它们使用脉冲神经元（即发射离散信号并在可能不同时间影响其他神经元的神经元）这一事实。

SNN 主要用于神经科学，在机器学习中并不常用，因为它们目前有一些明显的局限性（例如不可微性，因此不能应用梯度下降和反向传播，但 GD 和 BP 并不是真的）无论如何，生物学上是现实的，尽管有些人已经尝试将 GD 应用于 SNN）并且它们的性能仍然不如传统深度学习模型的性能，这使得它们对深度学习社区（目前主要是驱动按性能和实用性）。尽管如此，传统神经网络和脉冲神经网络之间的性能差距正在缩小。请参阅Amirhossein Tavanaei 等人的脉冲神经网络中的深度学习(2019)。更多细节。

已经有硬件加速 SNN 的商业实现（例如，BrainChip提供此服务）。这些硬件加速器通常被称为神经形态芯片（或处理器），所有基于 SNN 或试图实现生物神经网络的处理器的计算被称为神经形态计算。

还有一个称为水库计算的相关领域，它研究利用水库（在学习期间固定）来尝试例如提高训练效率的神经网络（例如液态机器或回波状态机） 。请参阅Benjamin Schrauwen 等人的水库计算概述：理论、应用和实现(2007)。概览。

Numenta（尤其是 Numenta 的创始人和一本名为On Intelligence的有趣书籍的作者 Jeff Hawkins ）也长期研究神经科学，以开发人类智能的模型和理论。他们将他们的新理论称为“千脑智能理论”，其灵感来自生物网格细胞。这也与胶囊网络（通常与 Hinton 相关）相关且相似。