是的，数据是随机排序的，这一点很重要。您希望删除沿成本函数下降的模式，因为这样的模式会增加过度拟合的可能性。A,A,A, ... B,B,B ...在模式上最容易解释。在这里，网络有机会在进一步移动之前适应第一个训练示例的特性。训练的目标不是适应特殊性，而是找到泛化好的特征。因此，似乎更好的想法是在每次迭代中将网络暴露给不同的示例。

我见过的大多数研究工作只是简单地将每个时期的示例顺序随机化。但认为实际上可能存在有用的模式似乎是明智的。也许一个专注于最大化网络在每次后续迭代中暴露的各种特征。