我想知道，既然输入是给 CNN 的，我们将如何对这些帧进行编码以作为 CNN 的输入？

正如 nbro 在对您的回答的评论中提到的那样，这个问题最近在此处被问及并得到了回答。

我也想知道$s_1$等于一个集合，在算法的第4行可以看出，那为什么是$s_{t+1}$等于$s_t$,$a_t$,$x_{t+1}$?

最初的 DQN论文中提出的算法相对简单，并且是为了表达他们方法的主要思想（例如经验回放、预处理历史、梯度下降等）而编写的；事实上，它甚至不是实验中使用的确切算法！例如，实验使用跳帧来减少计算——这在论文的算法 1 中没有提到。考虑到这一点，设置$s_{t+1}$等于$s_t, a_t, x_{t+1}$在算法中表示构建下一个原始状态的一般概念$s_{t+1}$从之前的预处理状态$s_t$, 之前的动作$a_t$, 和当前帧$x_{t+1}$. 例如：

• 如果下一个时间步的动作空间受到状态的约束，那么状态可能需要额外的参数来对动作空间进行编码。
• 如果状态是终端，则该算法需要一些指示，并且这种指示可能需要在状态中编码。
• 如果存在跳帧，则需要多个帧来构建下一个状态，也可能使用前一个状态。

上面的例子应该显示状态的编码不能总是简单地是一堆原始帧，甚至是一个函数$s_t$,$a_t$和$x_{t+1}$，因此通常需要更通用的方法。

我阅读了 DQN 论文，标题为：Playing Atari with Deep Reinforcement Learning again

我在预处理和模型架构部分（第 4.1 节）中读到，对于输入到 CNN 的每个状态，这个状态实际上是游戏的堆叠帧，所以基本上必须做什么，据我了解, 是对于每个时间步，您堆叠 4 帧（当前帧和 3 个先前帧），这将作为 CNN 的输入，因为尺寸将为边 * 边 * 4、4，因为这些帧被转换为灰度和正在使用 4 帧。