判别算法模型P(Class|variables)，而生成算法模型P(Class,variables) = P(Class|variables)* P(variables)。因此，通过对变量空间的联合分布进行建模，生成算法对“创建”数据的底层过程进行建模。

从第一段开始，我的观点是要注意生成算法具有区分性。因此，评估预测性能的方法相同：

“使用交叉验证将预测与基本事实进行比较。”

适用于生成模型以及判别模型。

但是，正如您所暗示的，我们还可以评估生成算法在对生成数据的基础过程进行建模方面的能力。一组常用的度量标准是源自似然性（对数似然）概念的“信息论分数” 。以下是一些著名的信息论分数：

1-对数似然(LL) 分数

2-最小描述长度(MDL) 分数

3-最小消息长度(MML) 分数

4- Akaike 信息标准(AIC) 分数

5-贝叶斯信息准则(BIC) 得分

请注意，2、3、4 和 5 在 LL 分数上使用了一些复杂性惩罚因子。这是对抗过度拟合的好习惯。