使用神经网络的中间层作为特征的策略?

人工智能 神经网络
2021-11-11 07:18:23

有一种流行的策略是使用在一项任务上训练的神经网络通过“切掉”网络的顶部并将底部缝合到其他一些建模管道上来为另一项相关任务生成特征。

例如,Word2Vec 模型采用了这种策略。

这个策略有行业流行的术语吗?有没有什么好的资源可以笼统地讨论它的使用?

2个回答

这是迁移学习的一个示例,其中不是从头开始学习过程,而是使用预训练模型并附加自定义层以实现附加功能。

在此处输入图像描述

这是一种典型的迁移学习技术,很多人用微调来引用它。我建议你看一下PyTorch 教程:它很好地解释了如何使用。