什么是生成模型和判别模型?它们如何用于自然语言处理?

数据挖掘 nlp 语言模型
2021-10-04 07:20:10

这个问题询问的是生成算法与判别算法,但是有人可以举一个例子来说明这些形式在应用于自然语言处理时的区别吗?NLP 中如何使用生成模型和判别模型?

1个回答

假设您正在根据单词预测文档的主题。

生成模型描述了每个主题的可能性,以及给定主题的单词的可能性。这就是它所说的文档实际上是由世界“生成”的方式——一个主题根据某种分布而出现,单词因主题而出现,你有一个文档。将单词 W 的文档分类到主题 T 是最大化联合似然度的问题:P(T,W) = P(W|T)P(T)

判别模型仅通过描述给定单词的主题的可能性来进行操作。它没有说明单词或主题本身的可能性有多大。任务是直接对 P(T|W) 进行建模,并找到使其最大化的 T。这些方法不直接关心 P(T) 或 P(W)。