贝叶斯最优分类器与似然比

机器算法验证 分类 似然比 贝叶斯最优分类器
2022-03-11 10:41:07

我对所有概率分类器都感到有些困惑。

  1. 贝叶斯最优分类器为max(p(x|C)p(C))如果所有类都具有相同的先验,则它减少到max(p(x|C))

  2. 似然比给出为p(x|C1)p(x|C2)

如果我只有 2 个先验相等的类,那么贝叶斯最优分类器和似然比有什么区别?他们不会给我返回与输出相同的类吗?

1个回答

它们不一样,但在你的情况下,它们可以用于相同的目的。

最优贝叶斯分类器

argmaxcCp(c|X)

即,在所有假设中,取c最大化后验概率。你使用贝叶斯定理

p(c|X)posteriorp(X|c)likelihoodp(c)prior

但由于使用统一的先验(所有c同样可能,所以p(c)1) 它简化为似然函数

p(c|X)p(X|c)

最大化似然函数和比较似然比之间的区别在于,对于似然比,您只比较两个似然,而在最大化似然时,您可以考虑多个假设。因此,如果您只有两个假设,那么它们基本上会做同样的事情但是想象一下,您有多个类,在这种情况下,将它们中的每一个与所有其他类逐对比较将是一种非常低效的方法。

请注意,除了找出两个模型中哪个模型的可能性更大之外,似然比还有其他用途。似然比可用于假设检验,它告诉您其中一个模型与另一个模型相比的可能性有多大(或更少)。此外,您可以通过以类似方式使用贝叶斯因子来比较后验分布时执行相同的操作。