CNN 架构有很多种：LeNet、AlexNet、VGG、GoogLeNet、ResNet 等。我们可以在任意两种不同的 CNN 架构之间应用迁移学习吗？例如，我们可以将 AlexNet 的迁移学习应用到 GoogLeNet 等吗？或者甚至只是从“传统”CNN 到这些其他架构之一，或者相反？这一般可以吗？
编辑：我的理解是所有机器学习模型都具有执行迁移学习的能力。如果这是真的，那么我想问题是，正如我所说，我们是否可以在两种不同的CNN 架构之间进行转换——例如，将传统 CNN 学到的知识转移到不同的 CNN 架构。
不，迁移学习不能“在”不同的架构之间应用，因为迁移学习是采用已经在一项任务上训练过的神经网络并在具有相同输入模式的另一项任务上重新训练它的做法，这意味着只有权重网络的（和其他可训练参数）在迁移学习期间会发生变化，但架构不会发生变化。
在我的理解中，迁移学习也只在深度学习中真正有效，但我可能是错的，考虑到这个谷歌搜索似乎产生了一些结果。
否则您可能会想到知识蒸馏，这是一个相关但不同的概念，其中一个已经训练过的网络充当教师，并教授另一个可能具有不同架构（或不基于神经网络的机器学习模型）的网络（学生网络）网络）一堆输入示例的正确输出。
我认为答案是肯定的，这个问题被称为“在哪里迁移”，请参阅这篇论文学习什么和在哪里迁移以了解我在说什么，如果我理解错误，请纠正我。