使用交叉熵创建决策树分类器

数据挖掘 决策树 多类分类
2022-02-11 19:11:20

根据基本定义,熵和交叉熵是否相同?

如果有区别:

决策树拆分采用熵或基尼指数,我们可以使用交叉熵拆分决策树吗?或者我应该在运行决策树算法后将其用作评估指标吗?

此外,决策树算法是否假设任何分布?

如是,

那么我们如何使用 KL Divergence 指标呢?

我只是想在更广阔的视野中联系一些概念。

这些是我对多类决策树的担忧。

谢谢,

1个回答

熵和交叉熵是不同的概念。熵量化了单个随机变量中的不确定性。交叉熵量化了两个分布之间的不确定性。

决策树算法不对分布做任何假设。