我知道决策树沿着每个属性递归地分裂,贪婪地最小化每次分裂时的错误分类/偏差。
但是,属性拆分的顺序是什么?换句话说,对于 N 维的回归树,是什么决定了哪个属性首先被拆分?
我知道决策树沿着每个属性递归地分裂,贪婪地最小化每次分裂时的错误分类/偏差。
但是,属性拆分的顺序是什么?换句话说,对于 N 维的回归树,是什么决定了哪个属性首先被拆分?
一种选择是使用一种简单的方法,比如只选择随机属性,或者一次取一个。
另一种选择是在每一步使用度量来决定最能分割数据的属性。不同的树算法应用不同的度量,例如基尼杂质(CART 算法)或信息增益(ID3 和 C4.5 算法)。
您可以在 Wikipedia 上的“决策树学习”条目中阅读这些方法的简要说明。