论文的第 6 页描述了确切的奖励函数，以及使用它们的原因：

目标：目标描述了对象的期望位置（一个盒子或一个冰球，取决于任务），具有一些固定的容差$\epsilon$IE$G = \mathcal{R}^3$ 和$f_g(s) = [|g − s_{object}| ≤ \epsilon]$， 在哪里$s_{object}$是对象在状态 s 中的位置。HER 中使用的从状态到目标的映射很简单$m(s) = s_{object}$.

奖励：除非另有说明，否则我们使用二元和稀疏奖励$r(s, a, g) = −[f_g(s 0 ) = 0]$在哪里$s'$是在状态 s 中执行动作 a 后的状态。我们在 Sec 中比较了稀疏和成形的奖励函数。4.4.

所以，至少在基本版本（我相信是你的fetchreach-v1）中，代理每花费超过$\epsilon$从目标状态开始，每花费一个时间步，奖励 0$\epsilon$的目标状态。因此，-5.0 分似乎对应于代理直接移动到目标并停留在那里，而 -50.0 分对应于代理未能完全达到目标状态。