是否可以用特定的学习率训练网络的一部分,而用不同的学习率训练另一部分?

人工智能 神经网络 卷积神经网络 火炬 超参数优化
2021-10-28 10:03:17

我有一个由两部分组成的组合网络:一个用于图像,另一个用于数字数据。每个样本都通过一个 ID 与一个数字大小写匹配。对于这个组合网络,lr通过超参数调整发现 0.01 的 a 效果最好

但是,当我将它们作为单独的任务(二进制分类)进行训练时lr,图像的 0.001 和数值数据的 0.01 是最好的。至于 AUC 指标,组合网络 (0.818) 的平均性能是图像和数值网络(分别为 0.799 和 0.821)。在这里,我认为可能组合网络lr对于图像部分来说太高了,应该lr为该部分应用较低的值。但是,我不知道这是否可能。

如果有人知道什么是什么,请告诉我

1个回答

创建两个不同的优化器并将子网的参数拆分为具有不同 lrs 的任何一个。您将不得不打optimizer1.step(), optimizer2.step()一个backward()电话