• Epoch 意味着一次通过整个训练集
• 批处理意味着您在一次迭代期间使用所有数据来计算梯度。
• 小批量意味着您在一次迭代中只获取所有数据的子集。

一个时期通常意味着您的算法会看到每个训练实例一次。现在假设您有训练实例：$n$

如果您运行批量更新，则每次参数更新都要求您的算法对训练实例中的每一个都只查看一次，即每个时期您的参数都更新一次。$n$

如果您使用批量大小 =运行小批量更新，则每次参数更新都需要您的算法查看个，即每个时期您的参数都会更新大约次。$b$$b$$n$$n/b$

如果您运行 SGD 更新，则每次参数更新都需要您的算法查看训练实例中的 1 个，即，每个 epoch 您的参数都会更新大约次。$n$$n$

“Epoch”通常意味着将学习算法暴露给整个训练数据集。这并不总是有意义的，因为我们有时会生成数据。

“批处理”和“小批量”可能会造成混淆。

训练示例有时需要“批处理”，因为并非所有数据都必须一次暴露给算法（通常由于内存限制）。

在 SGD 的上下文中，“Minibatch”意味着在更新权重之前计算整个批次的梯度。如果您不使用“小批量”，则“批量”中的每个训练示例都会独立更新学习算法的参数。

一个时期通常是整个数据集的一个循环。

批量或小批量是指在其上计算梯度和更新权重的数据集的大小相等的子集。

即对于大小的数据集$n$：

然而，术语批本身是模棱两可的，可以指批梯度下降或小批量的大小。