机器算法验证 - 对基尼杂质的简单明了的解释？ - 吾爱随笔录

对基尼杂质的简单明了的解释？

机器算法验证大车直觉基尼

2022-02-02 03:11:02

在决策树分裂的背景下，不明显看到为什么基尼杂质

i (t) = 1 - \sum_{j = 1}^{k} p^{2} (j | t)

$i(t)=1-\sum\limits_{j=1}^k p^2(j|t)$ 是节点 t 杂质的度量。对此有简单的解释吗？

2个回答

想象一个实验 $k$ 可能的输出类别。类别 $j$ 有发生概率 $p(j|t)$ （在哪里 $j=1,..k$ )

重复实验两次并进行以下观察：

获得两个相同类别输出的概率 $j$ 是 $p^{2} (j | t)$ $p^2(j|t)$
获得两个相同输出的概率，独立于它们的类别，是： $\sum_{j = 1}^{k} p^{2} (j | t)$ $\sum\limits_{j=1}^k p^2(j|t)$
因此，获得两个不同输出的概率为： $1 - \sum_{j = 1}^{k} p^{2} (j | t)$ $1-\sum\limits_{j=1}^k p^2(j|t)$

就是这样：基尼杂质只是获得两个不同输出的概率，这是一种“杂质度量”。

注：基尼指数的另一种表达方式是：

\sum_{j = 1}^{k} p_{j} (1 - p_{j})

$\sum\limits_{j=1}^k p_j(1-p_j)$ 这是相同的数量：

\sum_{j = 1}^{k} p_{j} (1 - p_{j}) = (\sum_{j = 1}^{k} p_{j}) - (\sum_{j = 1}^{k} p_{j}^{2}) = 1 - \sum_{j = 1}^{k} p_{j}^{2}

$\sum\limits_{j=1}^k p_j(1-p_j) = \left(\sum\limits_{j=1}^k p_j \right) -\left( \sum\limits_{j=1}^k p^2_j \right) = 1 - \sum\limits_{j=1}^k p^2_j$

Gini 杂质 = 逻辑熵 = Gini-Simpson 生物多样性指数 = 具有逻辑距离函数的二次熵 (1-Kroneckerdelta) 等。参见：Ellerman, David。2018.“逻辑熵：经典和量子逻辑信息理论导论”。熵 20 (9)：文章 ID 679。https://doi.org/10.3390/e20090679以及其中包含的参考资料。

其它你可能感兴趣的问题

上一篇样条插值是否被视为非参数模型？下一篇r glmer 警告：模型无法收敛，模型几乎无法识别