在 RL 中，神经网络可以直观地被认为是使用输入特征作为“识别”输入状态（或输入状态 + 动作对）的表示。回想一下大多数人在学习 RL 时首先研究的“表格”RL 设置。在表格 RL 中，您有一个值表（状态值$V(s)$, 或状态动作值$Q(s, a)$)，每个状态的表中都有唯一的条目。这样的表可以完美地识别状态，或者换句话说，完美地消除不同状态的歧义。

在非表格的函数逼近设置中，使用诸如神经网络之类的函数逼近器，您通常不能再唯一地标识每个状态。相反，您使用这些状态的近似表示，并且近似表示您可能有多个看起来相同的不同状态；它们具有相同的输入特征。这是你正在处理的情况。现在，您明确指定这些具有相同表示/输入特征的多个状态在一个情节中立即相互跟随，但我认为这个细节并不是特别重要。如果这些具有相同表示的不同状态出现在同一集中的不同时间，您将遇到完全相同的问题。你真正遇到的唯一问题是消歧问题：你不知道如何消歧这些状态，因为它们看起来与网络相同。

该问题的严重程度取决于您的域。根据您的领域知识，您是否期望最优动作或最优值在所有这些具有相同特征的状态中是相似的？如果是这样，没问题！无论如何，您的网络已经认为它们是相同的，因此它将了解到相同的操作/相同的值在这些状态下是最好的。但是，尽管网络无法消除它们的歧义，但您是否期望这些状态下的最优动作/真值函数会大不相同？在这种情况下，问题会更加严重，因为您实际上无法期望您的网络能够学习所有这些不同状态的最优动作/价值函数。充其量，它可以学习它们之间的加权平均值（根据它们在您的训练集中出现的频率加权）。