暂时不理她$Q$和$V$函数对状态和动作进行操作，这些状态和动作是我们称之为马尔可夫决策过程的一部分$M_0$.

回到她，$Q$和$V$函数现在将目标作为称为目标的附加参数。我们将表示个人目标$g_n$, 真正的目标$g_0$，以及所有目标的集合$G$. 选择一组目标，使得每个状态至少匹配一个目标。我们创建一个新的 MDP$M_1 = M_0 \times G$（即由多个副本组成的更大的 MDP$M_0$，每个状态中的所有状态都被标记为一个目标）。奖励是 +1 或 0，具体取决于目标和组件是否来自$M_0$在某种预定义的意义上匹配。在 HER 中，轨迹是从$M_1$在哪里$g = g_0$并添加到重播缓冲区。训练时$Q$和$V$我们不仅使用原始轨迹的函数：我们通过替换的新值来创建新的轨迹$g$，我们战略性地这样做是为了包括一些具有积极回报的轨迹。

注意事项：

1. HER 不会给状态或轨迹分配奖励$M_0$：使用的奖励函数仅定义为$M_1$
2. HER的性能取决于$Q$和$V$两者都是具有推断未见数据点能力的模型；例如神经网络、支持向量机等。如果应用于值表，它不会提供任何好处。