为什么决策树比逻辑回归表现更好

数据挖掘 机器学习 分类 决策树 逻辑回归
2021-09-16 06:43:05

我正在做一个机器学习项目,分类(100 x 100)图像(每个像素包含 0 或 255),我的训练集包含 10000 个示例(我将其分为 2 部分 80% 训练/20% 用于测试) . 当我应用逻辑回归算法时,我有 22% 的准确率,当我应用决策树算法时,我有 55% 的准确率,但我不明白为什么第二种算法会给出更好的结果。

2个回答

您是否考虑过为此使用神经网络?您使用的两种方法的挑战在于,两种模型都不擅长处理大量特征,而您基本上拥有 10,000 个特征。所以,我的猜测是,即使使用决策树,您也可能只是拾取了一些背景像素,这些像素会提高您的准确率。决策树可能正在拾取某些东西,然后将您“锁定”到模型的该分支中,这不太理想。使用神经网络可以帮助您创建一个可以做出更多细微选择的模型

基本上,决策树迭代地增长,对节点内观察到的单元的数量赋予更多意义,而逻辑回归试图将所有观察结果拟合到某个理论分布线中。显然,与后者相比,前一种方法可以从较小的计数中带来更多信息。因此,树组合了通过“异构”规则集实现的每个节点的分类概率,而回归更关心“同质”公式,该公式描述了拟合该分布的因子重要性的大小。话虽如此,log reg 并不是真正的分类器,但通常用作分类器。为了更好地理解这两种方法,我建议阅读它们的来源以及开发它们的目的。