我发现一些研究论文明确指定了他们用来获得结果的标准化技术。
有什么区别
IMG /255.0
和
IMG - mean / STD
对 CNN 的性能有影响吗?
我发现一些研究论文明确指定了他们用来获得结果的标准化技术。
有什么区别
IMG /255.0
和
IMG - mean / STD
对 CNN 的性能有影响吗?
因此,在深入探讨基于这两种方法的 CNN 性能之前,让我们先从它们对输入的作用开始。
第一种方法(IMG/255.0,我们称之为缩放)将使数据在 0 和 1 之间缩放。第二种方法(IMG - mean/STD,我们称之为居中)将输入范围从任意数字(可以是正数和负数),0 是平均值。
缩放会提高模型的收敛速度,而中心化不仅会加快模型的收敛速度,还会处理梯度爆炸和消失的问题。
正如CS231中提到的,居中就足够了,因为它也可以进行缩放。
最后,只要你没有非常深的模型,这两种技术不会有太大的不同,因为批量归一化处理了与图像归一化有关的几乎所有事情,所有层都接收归一化数据,并且不仅是第一个。