我的意思是:我们不是一次处理所有训练数据并计算模型,而是一次处理一个数据点,然后直接更新模型。
我已经看到了“在线(或在线)学习”和“增量学习”这两个术语。有细微的差别吗?是否更频繁地使用一个术语?还是取决于研究界?
编辑:Bishop 书(模式识别和机器学习)使用术语在线学习和顺序学习作为同义词,但没有提到增量学习。
我的意思是:我们不是一次处理所有训练数据并计算模型,而是一次处理一个数据点,然后直接更新模型。
我已经看到了“在线(或在线)学习”和“增量学习”这两个术语。有细微的差别吗?是否更频繁地使用一个术语?还是取决于研究界?
编辑:Bishop 书(模式识别和机器学习)使用术语在线学习和顺序学习作为同义词,但没有提到增量学习。
因此,以下答案只是基于该领域的同事和教授的不同意见。我想试着简要总结一下:
顺序和在线学习主要与贝叶斯更新有关。顺序学习被广泛用于数据的时间顺序,这意味着总是先来,然后, 然后等等。在这个意义上,每个数据集都有一定的顺序。与此相反,增量可能是时间 x 的整个数据块和时间 y 的另一个数据块。而内部的块可能是随机排序的。
关于在线学习,人们大多提到数据流,因此在线学习总是增量学习,但增量学习不一定是在线的。
这些是相当模糊的定义,在我看来,虽然没有明确的定义。我仍然希望这会有所帮助。
尽管这两个概念的定义很模糊,但在线学习和增量学习方法之间还是存在细微差别的。
在在线学习方法中,模型会更新以适应新数据。模型可能会忘记先前学习的推理,这称为灾难性干扰。
而在增量方法中,即使模型更新,之前的推论也不会被遗忘。
根据这篇文章,两种学习(在线和增量)方法都旨在在数据动态时学习(更新)模型,以获得与在批处理设置(即静态数据)中学习的模型相同的模型。不同之处在于,在线学习在训练实例一个接一个(1×1)顺序到达时学习模型,而增量学习在新一批数据实例到达时更新模型。在线学习与增量学习的比较如表1所示。需要注意的是,所有现有的在线学习框架也都可以用于增量学习,因为在线学习算法可以处理批量新数据一一对应。