根据基本定义,熵和交叉熵是否相同?
如果有区别:
决策树拆分采用熵或基尼指数,我们可以使用交叉熵拆分决策树吗?或者我应该在运行决策树算法后将其用作评估指标吗?
此外,决策树算法是否假设任何分布?
如是,
那么我们如何使用 KL Divergence 指标呢?
我只是想在更广阔的视野中联系一些概念。
这些是我对多类决策树的担忧。
谢谢,
根据基本定义,熵和交叉熵是否相同?
如果有区别:
决策树拆分采用熵或基尼指数,我们可以使用交叉熵拆分决策树吗?或者我应该在运行决策树算法后将其用作评估指标吗?
此外,决策树算法是否假设任何分布?
如是,
那么我们如何使用 KL Divergence 指标呢?
我只是想在更广阔的视野中联系一些概念。
这些是我对多类决策树的担忧。
谢谢,
熵和交叉熵是不同的概念。熵量化了单个随机变量中的不确定性。交叉熵量化了两个分布之间的不确定性。
决策树算法不对分布做任何假设。