机器算法验证 - GMM分类和QDA的区别 - 吾爱随笔录

机器算法验证分类判别分析高斯混合分布监督学习

2022-03-06 21:48:42

我知道每个类在线性判别分析 (LDA) 中具有相同的协方差矩阵，而在二次判别分析 (QDA) 中它们是不同的。当在监督分类中使用高斯混合模型 (GMM) 时，我们将具有自己的均值和方差的高斯拟合到数据中的每个类别。那么QDA和GMM有什么区别呢？ $\Sigma$

我对 GMM 的理解是错误的吗？也许我应该为每个类拟合一个以上的高斯，以便对其中的子组进行建模。但我不确定这是否属实。

1个回答

如果给你分类标签 $c$ 并拟合生成模型 $p(x, c) = p(c) p(x|c)$ ，并使用条件分布 $p(c|x)$ 对于分类，是的，您实际上是在执行 QDA（决策边界将是二次的 $x$ ）。在这个生成模型下，数据的边缘分布 $x$ 正是 GMM 密度（假设你有 $K$ 类）：

p (x) = \sum_{k \in {1, . . ., K}} p (c = k) p (x | c = k) = \sum_{k = 1}^{K} π_{k} N (x; μ_{k}, Σ_{k})

$p(x) = \sum_{k \in \{1,...,K\}} p(c=k) p(x|c=k) = \sum_{k=1}^K \pi_k \mathcal{N}({x};{\mu}_k, {\Sigma}_k)$

“高斯混合”通常是指上面的边缘分布，它是一个分布在 $x$ 单独，因为我们通常无法访问类标签 $c$ .

其它你可能感兴趣的问题