精疲力尽$N$能够重复样本之前的样本意味着该过程不是独立的。然而，这个过程仍然是随机的。

考虑一副洗过的牌。你看看最上面的牌，看看$\mathsf{A}\spadesuit$（黑桃 A），并将其放在一边。你永远不会看到另一个$\mathsf{A}\spadesuit$在整个甲板上。但是，您对剩余 51 张牌的顺序一无所知，因为这副牌是洗牌的。从这个意义上说，牌组的其余部分仍然具有随机顺序。下一张卡可能是$\mathsf{2}\color{red}{\heartsuit}$或者$\mathsf{J}\clubsuit$. 你不确定；你只知道下一张牌不是黑桃 A，因为你放了唯一的$\mathsf{A}\spadesuit$在其他地方面朝上。

在您概述的场景中，您建议查看最上面的牌，然后再次将其洗入牌库。这意味着看到的概率$\mathsf{A}\spadesuit$独立于先前观察到的卡片。事件的独立性是概率论中的一个重要属性，但并不要求定义一个随机过程。

您可能想知道为什么一个人会想要使用非独立策略构建小批量。这个问题在这里得到了回答：为什么神经网络研究人员关心时代？