机器算法验证 - 微调 vs 联合训练 vs 特征提取 - 吾爱随笔录

机器算法验证机器学习深度学习术语计算机视觉迁移学习

2022-02-05 22:08:18

它区分了深度学习中的特征提取和微调。我没有得到区别，因为特征提取与微调相同：

据我了解：

您在数据集上训练模型，将其用于在另一个数据集上进行训练。这是微调。这与从第一个训练模型中提取特征相同，就像在特征提取中，您也可以使用第一个模型并在新数据集上对其进行训练。

ml文献中的两者有什么区别吗？

联合训练是我理解的第三类，因为你可以同时训练所有数据。

2个回答

如{1}的图 2 所示，在微调策略中，在对新任务进行训练时，所有权重都发生了变化（原始任务的最后一层的权重除外），而在特征提取策略中，只有权重新添加的最后一层在训练阶段发生变化：

参考：

{1} Li、Zhizhong 和 Derek Hoiem。“学而不忘。” 在欧洲计算机视觉会议上，第 614-629 页。施普林格国际出版社，2016 年。https://arxiv.org/abs/1606.09282； https://doi.org/10.1007/978-3-319-46493-0_37

我同意这是一个措辞错误。在这种情况下，特征提取应该意味着模型 a) 的输出参与到其他模型（不一定是同一类型）的输入中。例如，我们可以通过像 Bert 这样的转换器模型运行文本输入，并使用结果向量作为特征以及简单的文本统计信息作为字数、平均长度等来预测文本的情绪，比如 xgboost 模型。

其它你可能感兴趣的问题