我试图找到两个分类器之间的联系。在 NBC 中,我们假设所有特征都是相互独立的,因此我们可以更容易地计算后验概率。我认为贝叶斯分类器更复杂,但这个过程与 NBC 有何不同?
贝叶斯分类器和朴素贝叶斯分类器的区别?
机器算法验证
朴素贝叶斯
2022-03-14 16:02:48
3个回答
朴素贝叶斯假设条件独立, ,而更一般的贝叶斯网络(有时称为贝叶斯信念网络)将允许用户指定哪些属性实际上是条件独立的。Tan,Kumar,Steinbach 的数据挖掘简介教科书对此进行了很好的讨论。他们也有讲师幻灯片在这里 应该给出这个假设的一个例子,以及为什么它可能是有缺陷的。
“非天真的”贝叶斯分类如何工作?
每条记录分类为:
- 查找具有完全相同特征的所有记录
- 确定这些记录中最常见的类别
- 将最常见的类分配给记录
问题:如果有很多特征,就不太可能找到完全匹配相同特征的记录。
解决方案:朴素贝叶斯分类器因此计算每个特征在一个类中独立出现的概率。
对于贝叶斯网络作为分类器,特征的选择基于一些评分函数,如贝叶斯评分函数和最小描述长度(如果有足够的训练数据,两者在理论上是等价的)。评分函数主要限制使用数据的结构(连接和方向)和参数(可能性)。学习完结构后,类仅由马尔可夫毯中的节点(其父母、孩子和孩子的父母)确定,并且所有给定马尔可夫毯的变量都被丢弃。
对于现在比较知名的朴素贝叶斯网络,所有的特征都被认为是属性(所有的属性都是类变量马尔可夫毯的一部分)并且在给定类的情况下是独立的。
贝叶斯网络和朴素贝叶斯网络各有优缺点,我们可以看到性能比较(主要来自 UCI 存储库的 25 个数据集),如下图所示:
我们可以看到,在这些数据集上,对角线下方的一些点表示朴素贝叶斯的性能优于贝叶斯网络,而对角线上方的一些点则在其他一些数据集上表示相反。
贝叶斯网络比朴素贝叶斯更复杂,但它们的表现几乎一样好,原因是贝叶斯网络比朴素贝叶斯表现差的所有数据集都有超过 15 个属性。那是在结构学习期间,一些关键属性被丢弃。
我们可以将两者结合起来,并在朴素贝叶斯的特征之间添加一些联系,它就变成了树增强朴素贝叶斯或 k 依赖贝叶斯分类器。
参考文献:
1.贝叶斯网络分类器
其它你可能感兴趣的问题