Q-learning是一种off-policy学习算法。我们遵循行为政策，$b$，即$\epsilon-$贪婪的。这种行为策略不必是最优策略，而是更可探索的策略。但是我们正在学习目标策略，$\pi$，这是状态动作值的argmax$(Q(s,a))$. 根据定义，该目标策略是最优策略。

来自$\epsilon$-贪婪的策略改进定理我们可以证明对于任何$\epsilon$-贪婪政策（我认为您将其称为非最佳政策）我们仍在朝着最佳政策取得进展，何时$\pi^{'}$=$\pi$这是我们的最优策略（Rich Sutton 的书 Chapter-5）。这里$\pi^{'}$是新政策和$\pi$是之前的政策。

想想这张图，我们在其中根据以下内容选择操作$\epsilon$-贪婪的政策，但仍在朝着最优政策取得进展$\pi_*$.