微调和迁移学习有什么区别?

数据挖掘 机器学习 神经网络 深度学习 计算机视觉 咖啡
2021-09-28 20:03:47

通常神经网络训练至少有2个步骤:

  1. 首先在大量标准数据集(ImageNet,...)上进行训练
  2. 然后在我的一小部分数据上训练得到的权重(在这一步中,我们可以训练所有层或只训练最后一层)

2-nd step 的相同点是 Fine-tuning 还是 Transfer-learning?微调和迁移学习有什么区别?

2个回答

通常,我将其称为迁移学习或网络适应。也就是说,采用从一个域中学习到有用特征的网络,并将该网络及其开发的特征适应于另一个域。

也就是说,似乎有许多来源将微调与迁移学习紧密结合在一起。因此,我想说术语上的差异主要是基于意见的,并建议基于这些理由结束这个问题。

微调是在我们尝试验证模型时必须非常精确地调整训练模型的参数的过程,同时考虑到不属于训练集的小数据集。

该小型验证数据集来自与用于模型训练的数据集相同的分布。用于训练和验证集的可用数据的拆分是随机的。


迁移学习或领域适应与训练集和测试集分布的差异有关。

所以它比微调更广泛,这意味着我们先验地知道训练和测试来自不同的分布,我们正在尝试根据不同的类型使用几种技术来解决这个问题,而不是仅仅尝试调整一些参数(通常我们这样做是为了防止过度拟合等)