有很多地方可以证明朴素贝叶斯分类器是线性的,例如this和this。但他们总是假设朴素贝叶斯分类器家族的一个特例,这种分类器经常碰巧是多项朴素贝叶斯。
P(X1=x1,X2=x2,⋯,Xk=xk)=n!x1!x2!⋯xk!px11px22⋯pxkk
现在,多项式朴素贝叶斯可以被证明是一个线性分类器,如下所示:
考虑具有的二元分类示例,决策边界将是:y∈{0,1}
log(P(Y=1|X=x)P(Y=0|X=x))=0
其中和X=(X1,X2,⋯,Xk)x=(x1,x2,⋯,xk)
使用贝叶斯规则和多项分布,决策边界可以写成:
∑i=1kxilog(pip′i)+log(P(Y=1)P(Y=0))=0
其中和和类中第 i个特征出现的概率。pip′iy=1y=0
所以,我们的决策边界有一个线性形式()。wTx+b=0
但是对于整个朴素贝叶斯分类器家族来说都是这样吗?
我怀疑这取决于您为输入特征选择的概率分布的性质。