数据挖掘 - 朴素贝叶斯分类器如何处理测试中的缺失数据？ - 吾爱随笔录

数据挖掘朴素贝叶斯分类器缺失数据

2021-10-14 06:34:08

假设已经训练了一个分类器（没有丢失训练数据），但是根据不包括所有特征的观察请求了预测。我们如何处理这个缺失的功能？

2个回答

在评估（测试）阶段，当数据点 $x_n$ 拥有 $d$ 索引处缺少特征 $M=\{m_1,...,m_d\}$ , 对应项 $P(x_i|C_k),i \in M$ 只是从分类器中删除。也就是分类器

C (x_{n}) = \underset{k \in {1, . ., K}}{argmax} P (C_{k}) \prod_{i} P (x_{i} = x_{n, i} | C_{k})

$C(x_n) = \underset{k \in \{1,..,K\}}{\mbox{argmax }}P(C_k)\prod_{i}P(x_i=x_{n,i}|C_k)$ 被替换为

C (x_{n}) = \underset{k \in {1, . ., K}}{argmax} P (C_{k}) \prod_{i : i \notin M} P (x_{i} = x_{n, i} | C_{k})

$C(x_n) = \underset{k \in \{1,..,K\}}{\mbox{argmax }}P(C_k)\prod_{\color{blue}{i:i \notin M}}P(x_i=x_{n,i}|C_k)$

在哪里 $i$ 迭代特征， $x_{n,i}$ 表示 $i$ -数据点的特征 $n$ , 并且有 $K$ 共上课。

在预处理数据时，您倾向于避免这些情况。您估算丢失的数据。在生产方面，像 H2O 这样的框架处理得非常优雅。如果您的意思是尺寸不匹配，那么 H2O 仍然可以处理它。

其它你可能感兴趣的问题