要完全回答这个问题，这里需要很多页面。不要忘记，stackexchange 不是人们为您阅读的教科书。

• 多层感知器（MLP）：是（可能）启动一切的神经网络。它们是严格的前馈（一个方向），即来自一层的节点只能连接到下一层的节点（这里没有疯狂的东西）。所有层都是完全连接的。这相当于前馈神经网络。两者都是有向图。Backprop 通常用于训练这些网络。该网络中的神经元/节点执行属于该神经元的权重向量与输入的点积。输出通过一个 sigmoidal 函数传递，这使得计算梯度和形成反向传播算法变得容易。
• 循环神经网络 (RNN) 是形成无向循环的网络，基本上是每层。这意味着这种网络具有（固定的）信息存储容量。它经常用于需要这些特定“内存缓冲区”的问题，例如手写识别。训练通常通过梯度下降（反向传播背后的原理）进行。
• Hopfield 网络：可以看作是 RNN 的一种（有点非官方的）形式。它只有一层，然后（已经）提供输出。但是，节点以一种特殊的方式互连——反馈网络（google it）。需要指出的重要一点是神经元/节点具有二进制性质，例如，它们仅将 1 或 0 作为输入。训练通常由 Hebbian learning 进行。
• 受限玻尔兹曼机 (RBM) 通常也只接受二进制输入。它可以被描述为一个两层的“网络”（更好的：'graph'）。第一层是可见单位，即我们观察它们。第二层是隐藏（潜在）单元，即我们必须推断它们。这些网络使用对比散度（梯度下降和吉布斯采样的混合）进行训练。请注意，训练过程并没有优化确切的能量函数（我不会在这里解释），而是一种不同但相关的类型。在实践中，这很有效。这些模型的强大之处在于它们可以堆叠，即一个接一个的 RBM。训练是分开进行的。对 RBM 及其堆叠模型的研究主要由 Geoffrey Hinton 和他的团队执行。它可以归类为深度学习的一种形式。
• 递归神经网络：我实际上从未与他们合作过，所以我可能无法对他们说太多。我认为主要思想是神经元可以指向自身，因此可以进行时间建模。这些网络可以展开，然后以常规方式进行训练。
• 卷积神经网络：通常是深度学习中的一种特殊网络。让我们首先讨论它们。这里的“深”本质上意味着在您的模型中拥有越来越多的层。为什么我们以前不使用 MLP 这样做？好吧，反向概率将网络产生的误差推回输入，即反向使用所有参数的导数。我们之前说过在神经元中使用非线性传递函数——S形函数。这里的问题是，对于很多层，这个函数会导致梯度消失。这很明显，您可以通过多个 sigmoidal 函数输入信号，这些函数的上限为 [0,1] 或 [-1,1]。它们基本上被整流线性单元（ReLu）所取代。这些从到零基本上为零，并且从零到线性增长$-\infty$$+\infty$。这解决了梯度消失的问题。另一个问题是，当时在计算机上训练这样的网络需要相当长的时间。通过将问题移植到现代 GPU 上解决了这个问题，现代 GPU 可以在大约一周内训练当今最复杂的网络，而在不到一天的时间内训练更简单的网络。
• CNN：那么什么是卷积神经网络？在其最简单的形式中，它是一个浅层 MLP，并且输入是，例如，并且最常见的，一个图像。在图像上计算卷积滤波器并将输入提供给下一个（第二）层。注意：卷积滤波器的权重也在这个过程中被学习。如今，它们几乎总是与池化层和其他交易技巧结合用于深度架构中。

为您准备的材料：

• 需要阅读的书籍：
  • Christopher M. Bishop 的《用于模式识别的神经网络》——每个使用网络结构的人都应该读过这本书。
  • Ian Goodfellow、Yoshua Bengio 和 Aaron Courville（+ 社区）的深度学习书，这本书仍在进行中，因此可以在此时免费下载：http: //www.deeplearningbook.org/
• 讲座：
  • 机器学习暑期学校： http://videolectures.net/mlss09uk_cambridge/?q=Machine %20Learning%20Summer%20School——一个非常好的暑期学校，其他年份也在线。你应该对 Geoffrey Hinton 的演讲感兴趣。
  • 深度学习暑期学校： http://videolectures.net/deeplearning2015_montreal/ ? q=Deep %20Learning%20summer%20school——这个应该对你有很大帮助。

这些解释到目前为止还不完整，但希望是正确的。如果你想了解这个领域，你必须阅读比这更多的东西。