数据增强通常在网上完成，因为这是在 Keras 和 TensorFlow 等神经网络框架中通常实现和建议的方式。我还在AlexNet 论文中看到了它的描述。

在线数据增强意味着网络在每个时期都会看到完全不同的数据集。从表面上看，这似乎是一个很酷的想法（特别是因为如果你在 CPU 上增加下一批并在 GPU 上训练前一批，它在计算上是免费的）有人说它提高了泛化能力，但除此之外我没有找到质量支持和解释这一想法的文献。

我对在线数据增强的问题是，我认为基于梯度的学习算法基本上是基于重复（即每个时期都看到相同的数据集），这在直觉上是有意义的。这是真的还是我编造的？有没有关于这方面的文献？