在机器学习中，术语“生成”和“判别”有时与“无监督”和“监督”混为一谈。只阅读深度学习论文的人也可能会相信生成模型会“生成”图像、文本或音频，而判别模型会分配标签。但这并不是在 GAN 和 VAE 出现之前定义和使用这些术语的方式。

生成模型为所有涉及的变量分配联合概率分布，即使我们最终只关心条件或边际分布。生成模型的经典示例包括朴素贝叶斯分类器和潜在狄利克雷分配。朴素贝叶斯是有监督的，通常应用于非常简单的数据，因此数据复杂性根本不重要。这些模型都不是为了生成输入而设计的。事实上，他们的条件独立假设使他们做得很差。

判别模型或条件模型在给定另一组变量的情况下将条件概率分配给一组变量。判别模型有时以无监督的方式进行训练，请参阅判别聚类。

包含两者的更一般的术语是“概率模型”或“统计模型”，它们可以指代概率分布的任何集合。我们使用“生成”和“判别”来快速传达概率模型的一些一般属性。其他说明符包括"parametric"、"nonparametric"和"graphical"。

最近的短语“条件生成”表明我们正在以变量为条件，就像在判别建模中一样，但我们也在对测试时实际上并不感兴趣的分布进行建模，就像在生成建模中一样。例如，在训练条件 GAN 生成图像时$x$从噪音$z$和一个标签$c$,$p(x, z \mid c)$，我们可能只关心$p(x \mid c)$在测试时。但为了与“生成”和“判别”的定义保持一致，我建议在决定某事物是否“有条件地生成”时，数据的复杂性或类型应该无关紧要。

使用这些定义，我们将按如下方式分配标签：

1. 有区别的
2. 有区别的，因为数据类型或分布无关紧要
3. 有区别的，因为您只是有条件地对感兴趣的变量进行建模
4. 条件生成，因为您对辅助变量进行建模；用于训练模型的损失无关紧要
5. 判别性，数据的复杂性或类型，或训练模型的方式无关紧要
6. 条件生成

我将指出Minka (2005)的注释和Bishop & Lasserre (2007)的论文，它们提供了更精确但更窄的定义以及生成模型和判别模型的统一视图，这可能会进一步澄清问题。

最后，请注意术语“模型”是重载的，它既可以指一个分布族，也可以指这个族的一个实例。例如，“训练模型”$p_{\theta}$具有特定参数值的是参数模型的一个实例，$\{ p_\theta : \theta \in \mathbb{R}^N \}$. 为了让事情变得更加混乱，机器学习术语将模型与拟合程序混为一谈。请注意，VAE 和 GAN（以及非线性 ICA 和其他一些）指的是本质上相同的模型（如果您假设非常小$\sigma$),

但是我们经常将它们称为不同的“模型”，因为它们的优化方式不同。