“神经网络”是一个通常用来指代前馈神经网络的术语。深度神经网络是具有多层的前馈神经网络。

深度信念网络与深度神经网络不同。

正如您所指出的，深度信念网络在某些层之间存在无向连接。这意味着 DNN 和 DBN 的拓扑在定义上是不同的。

DBN 中的无向层称为受限玻尔兹曼机。可以使用非常快的无监督学习算法（Contrastive Divergence）来训练这些层（这是一个链接！详细信息）。

还有一些评论：

使用更深的神经网络获得的解决方案对应的解决方案比具有 1 或 2 个隐藏层的网络获得的解决方案执行得更差。随着架构变得越来越深，使用 Deep NN 获得良好的泛化变得更加困难。

2006 年，Hinton 发现，当每一层 (RBM) 都使用无监督学习算法 (Contrastive Divergence) 进行预训练时，可以在更深层次的架构中获得更好的结果。然后可以使用反向传播以有监督的方式训练网络，以“微调”权重。

"深度神经网络是一种前馈人工神经网络，在其输入和输出之间具有多于一层的隐藏单元。每个隐藏单元，$j$，通常使用逻辑函数从下面的层映射其总输入，$x_j$，到标量状态，$y_j$它发送到上面的层。（参考文献（1））”。

也就是说，正如大卫所说：“深度信念网络在顶部两层之间有无向连接，就像在 RBM 中一样”，这与标准的前馈神经网络形成对比。一般来说，DNN 的主要问题在于它的训练，这肯定比单层 NN 更复杂。（我不是在研究神经网络，只是碰巧我最近读了这篇论文。）

参考： 1.语音识别中声学建模的深度神经网络，作者：Geoffrey Hinton、Li Deng、Dong Yu、Geoffrey Hinton、Li Deng、Dong Yu、Geoffrey Dahl、Abdel-rahman Mohamed、Navdeep Jaitly、Andrew Senior、Vincent Vanhoucke、Patrick Nguyen、Tara Sainath 和 Brian Kingsbury 在 IEEE 信号处理杂志 [82] 2012 年 11 月（链接到 MSR 中的原始论文）