如果代理不能完全观察当前状态，但只能部分观察到，则环境是部分可观察的。更具体地说，在完全可观察的 MDP (FOMDP) 中，代理知道环境的当前状态，它可以或不包含（例如，取决于状态是否为马尔可夫）包含理论上采取最佳行动所需的所有信息. 在部分可观察 MDP (POMDP) 中，状态不可用或不可观察，因此代理可能不具备理论上采取最佳行动所需的所有信息。

例如，在扑克游戏中，有隐藏的和可观察的牌。在这个游戏中，环境状态可以定义为所有玩家的所有手牌、桌子上的牌以及从牌组中抽取的下一张牌，直到回合结束。如果玩家可以访问所有这些信息，那么环境将是完全可观察的，但通常这些信息是不可用的，因此扑克通常被认为是部分可观察的游戏。

您将状态定义如下

$$s_t = \{ p_{t:t-n}, E_t\}$$

所以，如果你可以访问过去$n$价格记录，$p_{1:n}$, 和能级,$E_t$，那么您的环境是完全可观察的。但是，这并不意味着它是一个马尔可夫环境，也就是说，直观地说，你当前的状态足以在理论上采取最优行动。

总而言之，部分可观察性取决于特定问题中状态的定义。马尔可夫性质的概念也与部分可观察性的概念有关。但是，在 MDP 的情况下，马尔可夫属性的概念有一个特定的定义：给定当前状态和一个动作，下一个状态的概率有条件地独立于所有先前的状态和动作，或者更正式地说

$$P(S_{t+1} \mid S_t, A_t) = P(S_{t+1} \mid S_t, S_{t-1}, \dots, S_1, A_t, A_{t-1}, \dots, A_1)$$

在哪里$S_{t+1}$是下一个状态，$S_t$当前状态，$A_t$目前的行动，$S_{t-1}, \dots, S_1$以前的状态和$A_{t-1}, \dots, A_1$之前的动作。