BatchNorm 和 Adaptive BatchNorm (AdaBN) 有什么区别?

数据挖掘 机器学习 神经网络 深度学习 正常化 领域适应
2021-09-20 20:09:44

我了解 BatchNorm (批量标准化)以 (mean, std) = (0, 1) 为中心并且可能缩放(与 γ)和偏移量(与 β) 输入到层的数据。BatchNorm 遵循以下公式:

香草 BatchNorm (取自 arxiv-id 1502.03167)

但是,当谈到“自适应 BatchNorm”时,我不明白有什么区别。自适应 BatchNorm 有何不同之处?描述如下:

自适应 BatchNorm (取自 arxiv-id 1603.04779)

1个回答

我认为原始的批量归一化论文建议使用在训练集上估计的均值和标准差。自适应批量归一化只是在目标域上重新估计它们(可能是测试集,或者来自目标域的一些未标记数据)。

如果我错了,请纠正我。