批量归一化据说解决了每一层内的协变量偏移问题。即使您从标准化/白化数据集开始，在输入通过网络层后，它也可能不再以 0 为中心，具有单位方差。

例如，如果考虑具有恒定权重矩阵的相同大小的层$w_{ij}=10$和偏见$b_j = 4$， 以便$z^{L}_i = \sum_{j}w_{ij}z^{L-1}_j + b^L_j$, 那么如果层中的神经元 $L-1$ （IE $z^{L-1}_i$) 均值和单位方差为零，则层中的神经元 $L$ 将有 10 的方差和 4 的平均值（为了简单起见，这里我忽略了激活函数）。

因此，即使输入被归一化，网络内神经元值的分布也不能保证被归一化。批量规范通过规范化每一层来解决这个问题。