所以在(无监督的)文本建模中,潜在狄利克雷分配(LDA)是概率潜在语义分析(PLSA)的贝叶斯版本。本质上,LDA = PLSA + Dirichlet 先于其参数。我的理解是LDA现在是参考算法,并在各种包中实现,而PLSA不应该再使用了。
但是在(有监督的)文本分类中,我们可以对多项朴素贝叶斯分类器做完全相同的事情,并在参数上放置一个狄利克雷先验。但我认为我从未见过有人这样做,多项朴素贝叶斯的“点估计”版本似乎是大多数包中实现的版本。有什么理由吗?
所以在(无监督的)文本建模中,潜在狄利克雷分配(LDA)是概率潜在语义分析(PLSA)的贝叶斯版本。本质上,LDA = PLSA + Dirichlet 先于其参数。我的理解是LDA现在是参考算法,并在各种包中实现,而PLSA不应该再使用了。
但是在(有监督的)文本分类中,我们可以对多项朴素贝叶斯分类器做完全相同的事情,并在参数上放置一个狄利克雷先验。但我认为我从未见过有人这样做,多项朴素贝叶斯的“点估计”版本似乎是大多数包中实现的版本。有什么理由吗?
这是一篇很好的论文,它解决了多项朴素贝叶斯 (MNB) 分类器的一些“系统性”缺点。这个想法是您可以通过一些调整来提高 MNB 的性能。他们确实提到了使用(统一)狄利克雷先验。
总的来说,如果您对 MNB 感兴趣并且尚未阅读本文,我强烈建议您阅读。
我还发现了同一个人/人的随附硕士论文,但我自己还没有阅读。你可以检查一下。
我怀疑大多数 NB 实现都允许使用Laplace 校正来估计条件概率,这为贝叶斯 NB 分类器提供了 MAP 解决方案(具有特定的 Dirichlet 先验)。正如@Zhubarb (+1) 指出的那样,NB 分类器的贝叶斯处理已经被派生和实施(Rennie 的论文/论文非常值得一读)。然而,NB 的独立性假设几乎总是错误的,在这种情况下,使模型更强烈地依赖于该假设(通过完整的贝叶斯处理)可能不是一件好事。
我不相信你所描述的是真的。LDA 和 MNB 的概率模型不同。
两者之间的一个主要区别是,在 LDA 的生成模型中,当绘制一个词时,首先选择该词的主题,然后从该主题分布中选择一个词。因此,文档中的每个单词都可以来自不同的主题。
在 MNB 的生成模型中,文档被分配一个类别,并且该文档中的所有单词都来自该类别的(相同)分布。