在构建决策树时拆分属性时,我可以使用信息增益或信息增益比来尝试确定拆分树的最佳值。
- 当我有较少数量的不同值(主要是不连续的名义和有序值)时,我会使用信息增益
- 我会为具有大量不同值(主要是连续值)的属性使用信息增益率
也就是说,我是否必须选择一种方法用于整个树中的所有属性?
我的直觉是不,因为与其他属性比较的信息增益或信息增益比不是相关的比较;它仅与为了产生拆分的目的而与同一属性的不同值进行比较有关。
我在想,根据训练数据,一个人可能甚至可以将它们交换为树中的不同分割。如果该属性的值子集与以前的不同值较大的拆分相比较小,则可以使用更偏向于产生更有用结果的值。