我不相信将文档检索成功构建为强化学习问题会很容易工作。

但是，您的核心问题是可以回答的。这个问题出现在其他太大而无法探索所有可能状态的问题中。例如，在围棋游戏中，AlphaZero 系统不可能探索所有的棋局。同样，在许多已经成功应用强化学习的 Atari 游戏中，智能体不太可能看到系统的所有可能状态——通常它会在 100 万个视频帧上进行训练。

这个问题的答案是使用某种形式的函数近似，可以泛化到新的看不见的数据。这正是有监督机器学习模型所做的，因此 RL 代理将在内部使用一个，通常是线性回归或神经网络，以便从它探索的状态中学习到的值和/或策略将与类似的看不见的状态相关联（对于某些解释类似的）。