决策树通常容易过度拟合，并且准确性不能很好地推广到看不见的数据。信息增益的一个优点是——由于以下因素$-p*log(p)$ 在熵定义中——具有少量实例的叶子被分配较少的权重（$lim_{p \rightarrow 0^{+} } p*log(p) = 0$) 并且它倾向于将数据分成更大但同质的组。这种方法通常更稳定，并且还会选择靠近树根的最有影响力的特征。

编辑：准确性通常是不平衡数据的问题。考虑这个玩具示例：

Weather Wind    Outcome
Sunny   Weak    YES
Sunny   Weak    YES
Rainy   Weak    YES
Cloudy  Medium  YES
Rainy   Medium  NO
Rainy   Strong  NO
Rainy   Strong  NO
Rainy   Strong  NO
Rainy   Strong  NO
Rainy   Strong  NO
Rainy   Strong  NO
Rainy   Strong  NO
Rainy   Strong  NO
Rainy   Strong  NO
Rainy   Strong  NO
Rainy   Strong  NO
Rainy   Strong  NO

Weather 和 Wind 都只产生一个不正确的标签，因此具有相同的 16/17 精度。然而，鉴于这些数据，我们假设弱风（75% 是）比晴天（50% 是）更能预测积极的结果。也就是说，风教会了我们更多关于这两种结果的信息。由于只有很少的数据点可以得到积极的结果，我们更喜欢风而不是天气，因为风在较小的标签集上更具预测性，我们希望给我们一个对新数据更稳健的规则。

结果的熵是 $-4/17*log_2(4/17)-14/17*log_2(14/17)) =0.72$. 天气和结果的熵是$14/17*(-1/14*log_2(1/14)-13/14*log_2(13/14)) = 0.31$ 这导致信息增益 $0.41$. 类似地，风给出了更高的信息增益$0.6$.