等式 1

在正常的 Q-Learning 中，您的目标定义为$y_t = r_t + \gamma \mathrm{max_a}Q(s_{t+1}, a)$. 由于您正在训练正则化版本，因此您可以通过对每个图像增强的估计进行平均来构建下一个状态的估计值。将其转化为所有的期望值$k$给定状态的转换，我们需要通过将总目标除以转换数量来对其进行平均${k}$.

等式 3

在这里，Q-Function 针对所有图像变换进行了更新。$f(s_i, v_{i,m})$是转换后的图像，即它与$s_i$但它的亮度增加了0.5。我们在网络输出和 Q-Target 之间的均方误差上拟合我们的动作价值网络$y_i$通过图像转换和状态的数量平均。