简而言之，保证每个确定性平稳策略存在唯一平稳状态分布的 MDP 的相关类别是单链 MDP（Puterman 1994，第 8.3 节）。然而，单链假设并不意味着每个策略最终都会访问每个状态。我相信您的困惑源于 unichain 和更受约束的遍历 MDP 之间的差异。

Puterman 定义 MDP 是（在以下我的重点中）：

• 如果对应于每个确定性固定策略的状态转移矩阵由单个循环类组成，则循环或遍历，并且
• unichain，如果每个确定性平稳策略对应的状态转移矩阵是 unichain，即它由单个循环类和可能为空的瞬态状态集组成。

在进一步展开之前，让我们先回顾一下马尔可夫链中的循环和瞬态状态。以下定义可在 Puterman 的附录 A.2 中找到。对于一个状态$s$, 关联两个随机变量$\nu_s$和$\tau_s$表示访问次数和第一次访问的时间（或者如果链开始于第一次返回$s$) 陈述$s$. 一个状态$s$是

• 循环的（有时也称为遍历的），如果$P_s(\tau_s < \infty) = 1$，即状态最终被访问（或返回），并且
• 瞬态，如果$\mathbb{E}[\tau_s] = \infty$和$P_s(\tau_s < \infty) < 1$.

这也是事实$s$是循环的当且仅当$\mathbb{E}[\nu_s] = \infty$，即它被无限频繁地访问，并且$s$是短暂的当且仅当$\mathbb{E}[\nu_s] < \infty$，即，它仅被有限地经常访问（因此在某个有限时间之后再也不会被访问）。

所以现在让我们回到上面的两种类型的 MDP。考虑一个任意确定性的平稳策略$\pi$映射任何状态$s$对一个动作$a = \pi(s)$. 如果 MDP 是遍历的，则平稳分布$\mu_\pi(s)$存在并且是唯一的，因为任何策略诱导的状态马尔可夫链都有一个循环类（无论在哪个状态$s_0$链开始，达到相同的平稳分布）。有一类循环状态，即所有状态都是循环的，因此任何$s$经常被无限访问并且$\mu_\pi(s) > 0$.

现在，如果 MDP 是单链的，那么再一次是平稳分布$\mu_\pi(s)$存在并且是唯一的，因为任何策略诱导的状态马尔可夫链都有一个循环类。但是，重要的是，可能存在一项政策$\pi$其中，诱导马尔可夫链中的瞬态集合不为空。因为任何瞬态$s$在（无限视界）平稳分布中，只会被访问有限次$\mu_\pi(s)=0$！

所以确实，如果 MDP 是更严格的遍历类型，那么每个策略最终都会访问每个状态。然而，对于单链 MDP 来说，情况并非如此。

最后一点：如果生成的状态马尔可夫链是遍历的（即具有唯一的平稳分布），一些作者将策略定义为遍历的（例如，Kearns & Singh, 2002）。unichain MDP 是一种 MDP，其中每个策略都是遍历的。

参考：

普特曼，ML (1994)。马尔可夫决策过程：离散随机动态规划。

卡恩斯和辛格。多项式时间内的近似最优强化学习。机器学习, 49, 209–232, 2002