朴素贝叶斯分类器是分配项目的分类器上课基于最大化后验对于类成员,并假设项目的特征是独立的。
0-1 损失是分配给任何错误分类的损失“1”和任何正确分类的损失“0”。
我经常读到(1)“朴素贝叶斯”分类器对于 0-1 损失是最佳的。为什么这是真的?
(1) 一个示例来源:贝叶斯分类器和贝叶斯误差
朴素贝叶斯分类器是分配项目的分类器上课基于最大化后验对于类成员,并假设项目的特征是独立的。
0-1 损失是分配给任何错误分类的损失“1”和任何正确分类的损失“0”。
我经常读到(1)“朴素贝叶斯”分类器对于 0-1 损失是最佳的。为什么这是真的?
(1) 一个示例来源:贝叶斯分类器和贝叶斯误差
实际上这很简单:贝叶斯分类器选择具有最大后验概率的类(所谓的最大后验估计)。0-1 损失函数惩罚错误分类,即它将最小损失分配给正确分类最多的解决方案。因此,在这两种情况下,我们都在谈论估算模式。回想一下,众数是数据集中最常见的值,或最可能的值,因此最大化后验概率和最小化 0-1 损失都会导致估计众数。
如果你需要一个正式的证明,可以在Angela J. Yu的贝叶斯决策理论导论中给出:
0-1二元损失函数具有以下形式:
在哪里是克罗内克三角函数。(...) 预期损失为:
这对于一般的最大后验估计是正确的。所以如果知道后验分布,那么假设0-1 loss,最优分类规则就是取后验分布的众数,我们称之为最优贝叶斯分类器。在现实生活中,我们通常不知道后验分布,而是估计它。朴素贝叶斯分类器通过查看经验分布和假设预测变量的独立性来逼近最优分类器。所以朴素贝叶斯分类器本身并不是最优的,而是逼近最优解。在您的问题中,您似乎混淆了这两件事。