如果您可以访问无限的数据，除非生成该数据的顺序对数据有影响，否则最好不要有 epoch，并且在动态合成示例时只进行所需的训练。（您希望每个示例都是 iid）。

但是，如果您的数据生成过程有偏差，例如，如果变量 X 取值$\{0,1\}$有它的$0$首先生成的值，最好生成一个有限样本并将其打乱，然后用几个时期进行训练（甚至可能在时期之间打乱。否则，您将始终“显示”您的$0$前面的例子$1$例子，经过长时间的学习，网络只会看到$1$是在最近的过去，因此从未适合$0$的。

对于这个问题，您可以使用在线学习。您可以在Wikipedia上找到定义。有关 NN 在线学习的更多信息，您可以查看本文。