我的第一个和最后一个卷积层的权重确实发生了显着变化。但是，中间的其他卷积层却没有。
我应该补充一点，所有卷积层的偏差都发生了显着变化，但是中间层（相对于第一层和最后一层）的内核权重没有显着变化。
有人遇到过这种情况么？
谁能建议为什么会发生这种情况？
我可以排除消失的渐变......？
有什么解决办法（如果这是个问题的话）？
提前致谢。
我很高兴根据评论添加详细信息。
为什么我在 CNN 中的第一层和最后一层的权重发生变化，而中间层却没有？
数据挖掘
机器学习
Python
深度学习
张量流
2022-01-23 11:46:17
1个回答
它当然是数据特定的，但这种行为很可能是无害的。可能表明危险行为的是 cv-metric、学习率等的狂野行为......
您可以考虑每个 cnn 层任务来学习照片的特定特征/特性。在第一层中，他们将捕捉到最普遍的图案、边缘等……中间层更具体，他们着眼于一些更精细的细节，但不是太具体。最后一层用于真正区分类别并做出正确预测的小细节。
因此，在您的情况下，权重不会显着更新，因为中间层的信息并不那么重要。