规范化数据是一种提高泛化能力的方法吗?

人工智能 神经网络 深度学习 过拟合
2021-11-03 22:41:17

有许多已知的方法可以克服过度拟合或使模型更好地泛化到看不见的数据。

在这里,我想问一下标准化/标准化/相似化训练和测试数据是否是一种合理的方法。

通过相似化,我的意思是通过使用一些可能是神经网络本身的函数来使图像看起来相似。我知道通常人们会以相反的方式通过增加并因此增加训练数据的变化来解决这个问题。但是也可以通过限制训练和测试数据的变化来改进模型吗?

我知道这可能不是最好的方法,也可能太复杂了,但我看到了一些用例,其中防止过度拟合的已知技术不适用。在这些情况下,拥有一个可以标准化/标准化/相似化不同图像“风格”的网络可能非常有用。

不幸的是,我没有找到一篇讨论这种方法的论文。

1个回答

众所周知,批量归一化可以加快学习过程,因为它使更深层的权重更加稳健。它限制了特定层中权重的分布——这个视频可能对 BatchNorm 的作用很有用。这就是说,批量归一化确实具有正则化效果,它确实倾向于增加泛化。

谈论泛化 - 关注正则化可能会更有帮助