为什么词少的类有更高的概率?

数据挖掘 分类 朴素贝叶斯分类器
2022-03-02 14:25:56

鉴于我有一个单词在我的任何文档中都没有出现:newword,并且我有两个类:class1class2例如,in 的总词数class1为 3,in 的总词数class2为 6,所有文档中的唯一词数为 8。

此外,给定朴素贝叶斯公式,该词newword将具有更高的归属概率class1(因为分母将较低而分子保持不变)。关于这种行为是否有任何统计/逻辑理论解释(驱动算法)?

简而言之,我只想知道给单词更少的类提供更高概率的动机是什么。

Ps.:我正在使用拉普拉斯平滑。因此:
P(newword|class1) = 0 + 1 / 3 + 8 = 0.09 >
P(newword|class2) = 0 + 1 / 6 + 8 = 0.07

1个回答

朴素贝叶斯公式并不像你说的那样做。上课Ck和话x1,,xn,公式为

P(Ck|x1,,xn)P(Ck)i=1NP(xi|Ck)

如果这个词newword没有出现,我们没有关于P(xi|Ck),所以所有这些条件概率应该相等。所以右手边正比于P(Ck),它与单词的数量无关Ck.