梯度下降应该使用小批量中损失的总和（或平均值）来执行。

这实际上也是我在您的问题中阅读伪代码的方式，尽管我知道它可能会令人困惑。请注意，在伪代码中，$j$没有详细说明。例如，他们没有$j$范围从$0$到小批量的大小。

当他们说：

随机小批量转换样本$\left(\phi_{j}, a_{j}, r_{j}, \phi_{j+1}\right)$从$D$

它们意味着小批量中的多个转换（小批量大小为$1$是一个特例），他们使用索引$j$统称为随机抽样小批量中的整个索引集。这不是一个特定的数字/索引，$j$是一组索引。当更多的代码行对索引做一些事情时$j$, 他们实际上对所有索引做了一些事情 $j$.