如您所知，深度信念网络（DBN）是一堆受限玻尔兹曼机（RBM），那么让我们看看RBM：受限玻尔兹曼机是一个生成模型，这意味着它能够从学习的概率中生成样本可见单位（输入）的分布。在训练 RBM 时，您教它输入样本的分布方式，然后 RBM 学习如何生成此类样本。它可以通过调整可见偏差和隐藏偏差以及两者之间的权重来实现。

隐藏单元数量的选择完全取决于您：如果您选择给它的隐藏比可见单元少，RBM ​​将尝试仅使用它拥有的隐藏单元数量在输入处重新创建概率分布。这已经是目标：$p(\mathbf{v})$，可见单位的概率分布，应尽可能接近数据的概率分布$p(\text{data})$.

为此，我们分配了一个能量函数（两个方程均取自G. Hinton 的 RBM 训练实用指南）

$$E(\mathbf{v},\mathbf{h}) = -\sum_{i \in \text{visible}} a_i v_i - \sum_{j \in \text{hidden}} b_j h_j - \sum_{i,j} v_i h_j w_{ij}$$ 可见单元的每个配置$\mathbf{v}$和隐藏单位$\mathbf{h}$. 这里，$a_i$和$b_j$是偏差，并且$w_{ij}$是权重。给定这个能量函数，可见向量的概率$\mathbf{v}$是 $$p(\mathbf{v}) = \frac 1Z \sum_{\mathbf{h}} e^{-E(\mathbf{v},\mathbf{h})}$$ 有了这个，我们知道要增加 RBM 生成训练样本的概率$\mathbf{v}^{(k)}$（表示$k$-th 个训练样本），我们需要改变$a_i$,$b_j$和$w_{ij}$使能量$E$对于我们给定的$\mathbf{v}^{(k)}$和相应的$\mathbf{h}$变低。