决策树是否比神经网络更不适合增量学习?

人工智能 机器学习 强化学习 学习算法
2021-11-08 06:44:05

我记得一位教授曾经说过决策树不适合增量学习,因为如果有新的训练示例出现,它们必须从头开始重建。

  • 这基本上是真的吗?快速谷歌搜索让我看到了很多试图将决策树融入增量学习的论文
  • 还有哪些其他算法属于这一类?
  • 神经网络对增量学习有好处吗?还有什么其他算法好?
1个回答

我将尽我所能回答所有三个问题。

这基本上是真的吗?快速谷歌搜索让我看到了很多试图将决策树融入增量学习的论文。

在线学习环境中决策树的问题在于,模型应该能够在收集环境的经验(即状态、动作、奖励、新状态)时进行更新。任何不反映树结构的数据都会导致决策树分崩离析,需要您再次重建模型。这不一定是问题,但在构建模型时必须考虑到这一点。

还有哪些其他算法属于这一类?

其他假设数据事先已知(离线)的算法。例如 K-NN 或学习向量量化 (LVQ)。然而,应该注意的是,这些算法可以适应以在线方式工作。

神经网络适合增量学习吗?还有什么其他算法好?

神经网络可以很好地捕捉在线体验的变化。原因是这样的网络中的每个权重都会在新体验出现时进行调整。权重会根据误差函数进行调整,这样可以相对容易地更新模型。

2016 年,Venkatesan 等人提出了一种新颖的多类分类渐进式学习技术。您可能需要对此进行调查,因为他们使用的系统允许在线学习。其他技术也存在,应该在谷歌搜索在线学习方法时找到。