BatchNormalization 应该仅用于 CNN,还是也可以用于全连接网络、循环网络?
批量标准化可以在哪里使用?CNN 还是无处不在?
数据挖掘
美国有线电视新闻网
批量标准化
2022-02-27 16:35:55
1个回答
批量归一化层本质上是对隐藏单元的输出进行归一化,因此它们的输出始终具有相似的比例。通过消除隐藏层输出中的这种内部协变量偏移,您的深层变得更加独立于它们之前的层。
这里没有什么是 CNN 特有的——批量标准化也可以应用于全连接和循环神经网络,但它们对深度神经网络更有用,深度神经网络往往会在前向传播期间激活每一层来累积这种转变。