正如你所说的那样，我们计算隐藏单元的概率$h_j$ 成为一，然后使其成为二进制。该概率由下式给出

$$p(h_j=1) = \sigma\left(b_j + \sum_{i=1}^V w_{ij}v_i \right)$$ 在哪里$\sigma$是 sigmoid 函数，$b_j$是隐藏单元的偏差$h_j$,$V$是可见单位的数量，$v_i$是可见单元的（二进制！）状态$i$， 和$w_{ij}$是权重。

因此，用于获取概率的 MATLAB 代码hidden_probs是这样的（我们通过进行矩阵乘法来隐式写入总和）：

hidden_probs = sigmoid(hidden_bias + data * weights)

现在，我们有概率$p(h_j=1)$对于每个隐藏单元$j \in [1,H]$. 现在，这只是一个概率。我们需要一个二进制数，要么0要么1。所以我们唯一能做的就是从概率分布中选择一个随机样本$h_j$，这是一个伯努利分布。

由于所有隐藏单元都是独立的，我们需要为每个隐藏单元独立获取一个样本。而且，在每个训练步骤中，我们都需要抽取新样本。

binornd要从伯努利分布中抽取这些样本，您可以使用 MATLAB ( ) 或 Python ( ) 等内置函数numpy.random.binomial。请注意，这些函数是从二项分布中采样的，但伯努利分布只是二项分布的一个特例N=1。在 MATLAB 中，这将类似于

hidden_states = binornd(1, hidden_probs)

hidden_states这将创建包含0或的向量，1为 中的每个概率随机绘制hidden_probs。

您可能已经注意到，没有人这样做！例如，在他的RBM 训练实用指南中将其描述为

如果此概率大于均匀分布在 0 和 1 之间的随机数，则隐藏单元打开。

这正是 Hinton 在他的RBM 代码中所做的：他为每个使用的隐藏单元获取一个随机数rand，即从它们之间的均匀分布中随机抽样[0,1]。然后他做了比较：

hidden_states = hidden_probs > rand(1, H)

这相当于 using binornd，但可能更快。例如，要生成一个与 相关的随机数1，p=0.9您可以从 中获得一个随机数[0,1]。现在，在 90% 的情况下，这个随机数小于 0.9，在 10% 的情况下大于 0.9。1因此，要获得与 相关的随机数p=0.9，您可以调用0.9 > rand(1)- 这正是他们所做的。

tl;dr：[0,1]在每次迭代中从每个隐藏单元的范围中选择一个新的随机数。将其与您的概率进行比较hidden_probs > rand(1,H)以使其成为二进制。