多层神经网络 (MLP) 和 Hopfield 网络是确定性网络。具体来说，可以显示第一个来估计目标数据的条件平均值。有关详细信息，您可以查看 Bishop关于神经网络的书。

Hopfield 是一种确定性递归神经网络。确定性，因为一旦给出初始状态，它的动力学就会按照Lyapunov 函数演变。参见Hopfield 和 Tank的论文。已经证明它可以解决组合问题和学习时间序列。

亥姆霍兹和玻尔兹曼机器是随机网络，这意味着给定一个输入，网络的状态不会收敛到一个唯一的状态，而是收敛到一个整体分布。神经网络状态的概率分布。它们是 Hopfield 网络的随机等价物。

实际上可以证明，在绝对零的极限中，玻尔兹曼机简化为 Hopfield 模型。$T \rightarrow 0$

您可以查看 Hinton 关于该主题的早期论文以了解基本差异，以及了解如何使它们发挥作用的新论文。

此外，玻尔兹曼和亥姆霍兹机与马尔可夫随机场和条件随机场密切相关，如此处和此处所述。这导致了可以应用于这两种模型的推理算法的开发，例如分数信念传播。