生成模型的定义为学习联合概率$P(X,Y)$是在监督学习的背景下给出的。

在更一般的设置中，学习联合概率的过程是“生成的”，因为知道联合概率可以生成新数据——在监督的上下文中，有$P(X,Y)$ 提供了产生新的可能性$(x,y)$对。

现在，生成在无监督学习环境中意味着什么？这意味着采样。而采样是RBM 可以非常方便地做的事情，因为缺少层间连接使得 Gibbs 采样特别容易。

撇开 Gibbs 抽样的细节不谈，值得注意的是，在 RBM 的情况下，我们实际上有$P(v,h)$在哪里$v$是可见层和$h$是隐藏层。

澄清

抽样在不同的上下文中使用，指的是不同的想法。我自己在使用这个词时经常不知何故草率。

在答案的上下文中，采样是指生成新样本，而不是从一组可用元素中采样（例如，只需选择一堆有/或没有替换的元素）。

为了能够生成新的 (x,y) 对，您需要对联合分布进行建模，然后从中采样（正如这里在分布只是高斯分布的更简单示例中所做的那样）。

让 X=(x1,x2,x3,x4,x5) 并让目标变量 Y=(y1,y2)。生成模型学习联合概率分布 P(X,Y)=P(x1,x2,x3,x4,x5,y1,y2)。因此，现在将这个 P(X,Y) 以表格的形式考虑，其中包含所有这些变量，并附加了另一列作为变量值的特定配置的概率。如您所知，生成模型定义了标签（y1，y2）生成数据（x1，x2，x3，x4.x5）的可能性。现在考虑一下，如果我的数据是 (x1,x2,x3,x4,x5,x6,x7)，那么我可以学习联合概率分布并使用贝叶斯定理将任何缺失值（如 (x3,x7) 填充为 P( x3,x7|(x1,x2,x4,x5,x6))。这些缺失值也可以是您的目标变量。现在您可以将它们称为目标变量或其他任何东西。但这里的重点是，生成模型定义了变量的联合概率分布，这些变量与你给它们的名字无关。由于 RBM 定义了输入变量的联合概率分布，基本上只是数据而没有标签，因此它是无监督学习。