机器算法验证 - 能p (是| 一个，乙）p(Y|a,b)永远等于p (是| a)⋅p(Y| b)p(Y|a)⋅p(Y|b)? - 吾爱随笔录

机器算法验证可能性分类贝叶斯朴素贝叶斯

2022-04-18 04:19:10

这让我觉得这是一个简单的问题，但在重新审视朴素分类器的工作原理时，我开始想知道是否存在在某些独立假设下获得的概率模型：

$p(Y | a,b) = p(Y|a) \cdot p(Y|b)$

例如，这可以用于构建一个分类器，该分类器将类概率作为条件类概率的乘积（在上述情况下， $Y$ 将是班级，并且 $a$ & $b$ 特点）。

直觉告诉我这是可行的，但如果我试图找出在什么条件下我可以达到上面的等式，我一无所获。

例如，如果我假设 $Y$ 独立于 $b$ , 给定 $a$ ，我显然只是得到： $p(Y|a,b) = p(Y|a)$ 所以我错过了第二个学期。我想不出任何给我原始方程的独立性假设。是因为它们不存在吗？

2个回答

问题中的等式仅发生在两者都存在的微不足道的情况下 $p(Y|a)$ 和 $p(Y|b)$ 是单一的点质量 $Y$ 价值。如果是真的，那么 $\sum_Y p(Y|a) p(Y|b) = 1$ . 但是，请考虑以下界限：

\sum_{Y} p (Y | a) p (Y | b) \leq \sum_{Y} p (Y | a) max_{Y^{'}} p (Y^{'} | b) = max_{Y^{'}} p (Y^{'} | b)

$\sum_Y p(Y|a) p(Y|b) \leq \sum_Y p(Y|a) \max_{Y'} p(Y'|b) = \max_{Y'} p(Y'|b)$ 要使 LHS 为 1，必须有一个 Y 值，其中，这意味着的值是唯一可能的值。也必须如此。

p (Y | b) = 1

$p(Y|b)=1$

Y

$Y$

p (Y | a)

$p(Y|a)$

当然，如果和的独立信息的非交互事件，并且具有统一的先验，那么这是组合信息的唯一合理方式。Geoff Hinton 称这是专家的产物。需要注意的是，如果没有统一的先验，那么在进行逐点乘法时会重复计算它。所以你真的应该做。 $a$ $b$ $Y$ $Y$ $Y$

P (Y ∣ a, b) \propto \frac{p (Y ∣ a) \cdot p (Y ∣ b)}{p (Y)}

$P(Y\mid a,b) \propto \frac{p(Y\mid a) \cdot p(Y\mid b)}{p(Y)}$

也许您可以说在和上诱导的可能性是独立的？ $a$ $b$ $Y$

其它你可能感兴趣的问题