我之前回答了一个类似的问题，这是我的一部分答案，我认为它涵盖了您的问题：

批量归一化对神经网络的帮助在很长一段时间内都没有被真正理解，最初它被认为有助于内部协变量偏移（由最初的论文假设：批量归一化：通过减少内部协变量偏移来加速深度网络训练），但最近已经与优化过程相关（批量标准化如何帮助优化？）。

这意味着，从架构的角度来看，很难正确假设应该如何使用它或它将如何影响您的网络，除非您真正了解它对损失情况的影响以及您的优化过程将如何在初始化的情况下遍历它（注意顺便说一句，Google 最近的一篇论文表明，您可以通过了解批量规范化正在解决的问题并尝试在初始化过程中缓解这些问题来完全减轻批量规范化的许多好处：Fixup Initialization）。