人工智能 - 分布 RL 中的符号 sup dist 是什么意思？ - 吾爱随笔录

人工智能强化学习数学符号

2021-11-05 18:00:31

根据这篇文章，我正在尝试理解分布式 RL 。在其中一个方程中，有一个符号 $\operatorname{sup dist}$ .

\begin{aligned} {sup dist}_{s, a} (R (s, a) + γ Z (s^{'}, a^{*}), Z (s, a)) \\ s^{'} \sim p (\cdot ∣ s, a) \end{aligned}

$\begin{align} \operatorname{sup dist}_{s, a} (R(s, a) + \gamma Z(s', a^*), Z(s, a)) \\ s' \sim p(\cdot \mid s, a) \end{align}$

做什么 $\operatorname{sup dist}$ 意思是？

1个回答

它似乎不是一个“适当的”符号。

我猜可能是 $\sup$ 简单地指的是上确界，也就是你要选择最大化右边出现的数量的动作 $\sup$ ，尽管 $\text{dist}$ 只是分布之间任何可能距离的代理。例如，您可以替换 $\text{dist}$ 与 Kullback-Leibler 散度或互信息。

其它你可能感兴趣的问题