判别算法和生成算法的似然函数差异背后的直觉

数据挖掘 逻辑回归 可能性 朴素贝叶斯分类器
2022-03-03 08:43:26

我目前正在研究斯坦福 CS229 的在线资料,我遇到了判别式(例如回归)和生成算法(例如朴素贝叶斯)的似然函数: +判别式:

判别似然函数

+生成:

生成似然函数

在这两种情况下,m 都是训练样例的数量,所有训练样例都是相互独立的。我想知道的是为什么在判别似然函数中,公式是给定 x 的 y 的条件概率的乘积,而在生成似然函数中,公式是 x 和 y 的联合概率的乘积?这种选择背后有什么原因吗?

1个回答

判别模型学习将 x 分类为 y 类:条件概率分布 p(y|x)。

生成模型学习联合概率分布 p(x,y)。它可以通过贝叶斯规则转换为 p(y|x)。

您会得到不同的似然函数,因为这些模型对数据进行分类的方式不同。