批次规范：

• (+)批量大时稳定
• (+)对输入数据的规模和变化具有鲁棒性（在训练中）
• (+)对权重向量的规模有鲁棒性
• (+)训练时更新规模减小
• (-)不适合在线学习
• (-)不适合 RNN、LSTM
• (-)训练和测试的不同计算

体重标准：

• (+) CNN 上的计算成本更小
• (+)对权重初始化深思熟虑
• (+)实施很容易
• (+)对权重向量的规模有鲁棒性
• (-)与其他人相比，训练可能不稳定
• (-)对输入数据的高度依赖

层规范：

• (+)对小批量 RNN 有效
• (+)对输入规模的鲁棒性
• (+)对权重矩阵的尺度和移位具有鲁棒性
• (+)训练时更新规模减小
• (-)可能对 CNN 不利（在某些情况下，Batch Norm 更好）

https://arxiv.org/abs/1709.08145

'... 使用在 ImageNet 上训练的 ResNet-50 网络的 BN 和 WN 算法的详细比较。我们发现，尽管 WN 实现了更好的训练准确率，但最终的测试准确率明显低于 BN（≈6%）。这个结果证明了 BN 正则化效果的惊人强度，我们无法使用标准正则化技术（如 dropout 和权重衰减）来补偿它。我们还发现，与 BN 相比，使用 WN 算法训练深度网络的稳定性明显较差，限制了它们的实际应用。