在大多数当前模型中,归一化层应用于每个卷积层之后。许多模型使用块反复。但是为什么我们需要多个批量标准化层呢?如果我们有一个接收归一化输入的卷积层,它不应该吐出归一化的输出吗?仅在模型的开头放置归一化层还不够吗?
为什么当前模型使用多个归一化层?
人工智能
深度学习
卷积神经网络
批量标准化
2021-11-06 19:58:08
1个回答
一个问题是,随着学习的进行,一组标准化的初始权重可能不会保持标准化。因此,鉴于我们根据它们的相对值按比例调整权重,并且在处理学习数据的子集时,模型可能会确信一个特征子集很重要而其他特征子集不重要,这可能导致权重再次变得不平衡。在学习曲线中,我们可能会将其视为一个平台期,在此学习过程中,学习者确信一些特征比实际更重要,并且无法找到可以贡献更大的新特征,因为微小的比例变化并没有使它们移动太远,或者很快,足够进入一个明显的范围。
因此,当我们从数据库中重新采样以获取下一批时,我们需要完全接受前一批学习过于偏向其自己喜欢的集合的可能性。实际上,我们是在用准确性来换取对新特征组合的开放性,同时也有助于泛化。
其它你可能感兴趣的问题



















