将决策树拟合到梯度提升树以获得可解释性

数据挖掘 Python 分类 决策树 gbm
2021-09-15 13:41:39

我想知道是否有文献或有人可以解释如何将决策树拟合到梯度提升树分类器,以获得更多可解释的结果。

这显然是 Turi 在他们的解释函数中使用的方法,它输出如下内容:

Turi 的解释功能:

图片

从他们的页面here

我知道对于随机森林,您可以平均每棵树中每个特征的贡献,如 TreeInterpreter python 包中所见,但这似乎是一种不同的方法,因为它专注于精确分割和一个决策树。

有谁知道更多关于这种解释梯度增强树的方法的信息?

1个回答

梯度提升学习多个决策树或回归树。与随机森林的不同之处在于树相互纠正。每棵新树都拟合在早期树的预测产生的残差上。

explain方法为每个预测(即记录)显示为什么做出特定决定。这会导致一系列决策。每棵树都会做出几个决定。所有树的决策都被堆叠起来,以获得证明单个决策合理性的规则集。此信息特定于梯度提升模型特定记录。

如果您想了解有关梯度提升模型的更多信息,您可能需要考虑特征重要性。特征重要性表示特征的重要性。你可以用print model.get_feature_importance()这个。