ID3决策树算法中如何计算熵?
人工智能
机器学习
分类
决策树
id3-算法
熵
2021-11-04 18:47:28
1个回答
假设您有数据:
color height quality
===== ====== =======
green tall good
green short bad
blue tall bad
blue short medium
red tall medium
red short medium
在此示例中计算质量的熵:
X = {good, medium, bad}
x1 = {good}, x2 = {bad}, x3 = {medium}
X 中每个 x 的概率:
p1 = 1/6 = 0.16667
p2 = 2/6 = 0.33333
p3 = 3/6 = 0.5
对数是:
log2(p1) = -2.58496
log2(p2) = -1.58496
log2(p3) = -1.0
因此集合的熵是:
H(X) = - (0.16667 * -2.58496) - (0.33333 * -1.58496) - (0.5 * -1.0)
= 1.45915
通过问题中的公式。
剩下的任务是为每个属性迭代这个过程以形成树的节点。
其它你可能感兴趣的问题