什么是迁移学习中的层冻结?

人工智能 迁移学习
2021-10-29 21:55:20

迁移学习包括在一个问题上学习到的特征,并在一个新的、类似的问题上利用它们。

在迁移学习中,我们从先前训练的模型中提取层并冻结它们。

为什么需要冻结层?冻结层的影响是什么?

2个回答

为什么需要冻结这一层?

不是。

冻层有什么影响? 后果是:

(1) 训练速度应该更快(梯度的分量要少得多)

(2) 应该需要更少的数据来训练

如果您确实解冻了权重,我认为您的表现会更好,因为您正在根据您手头的具体问题调整(即微调)参数。我不确定实践中的边际改进是什么,因为我没有对微调进行太多尝试(比如这些改进通常会降低 0.01% 的错误率吗?不确定。)

层冻结意味着训练模型的层权重在后续下游任务中重复使用时不会改变,它们保持冻结状态。基本上,当在训练期间执行反向传播时,这些层权重不会受到影响。