是否可以从优化中排除特定层？
例如，假设我有一个输入层、2 个隐藏层和输出层。我知道这个设置有一个完美的解决方案可以解决我的问题，而且我已经知道第一个和第二个隐藏层之间的完美权重。
我可以在训练阶段固定第一和第二隐藏层之间的权重吗？
我知道在计算整个网络的反向传播后，我无法更新这些特定的权重。但是如果我扔掉那些特定的权重，这会影响我其余权重的优化吗？
在神经网络的训练过程中可以固定一些权重吗？
人工智能
机器学习
卷积神经网络
训练
反向传播
权重
2021-11-16 16:27:35
1个回答
是的，您可以在神经网络训练期间修复（或冻结）一些权重。事实上，这是以最常见的迁移学习形式完成的（在此处进行了描述）。我不知道这对一般学习有何影响。在迁移学习中，这绝对是有益的，因为我们正在冻结与学习到的对象的一般特征相关的权重，例如角（这里的一般是直观定义的），这对于其他任务可能很有用，因此，通过它们被冻结，我们重复使用它们。
其它你可能感兴趣的问题