人工智能 - 为什么我们不在表格 Q-Learning 中使用重要性抽样？ - 吾爱随笔录

为什么我们不在 Q-Learning 中使用重要性采样率，即使 Q-Learning 是一种 off-policy 方法？

重要性抽样用于通过使用未从分布中提取的数据来计算随机变量的期望。考虑采用蒙特卡洛平均值来计算 $\mathbb{E}[X]$ .

在数学上，期望定义为

E_{x \sim p (x)} [X] = \sum_{x = \infty}^{\infty} x p (x);

$\mathbb{E}_{x \sim p(x)}[X] = \sum_{x = \infty}^\infty x p(x)\;;$ 在哪里

p (x)

$p(x)$ 表示我们的概率质量函数，我们可以通过

E_{x \sim p (x)} [X] \approx \frac{1}{n} \sum_{i = 1}^{n} x_{i};

$\mathbb{E}_{x \sim p(x)}[X] \approx \frac{1}{n} \sum_{i=1}^nx_i\;;$ 在哪里

x_{i}

$x_i$ 模拟自

p (x)

$p(x)$ .

现在，我们可以将之前的期望重写为

E_{x \sim p (x)} [X] = \sum_{x = \infty}^{\infty} x p (x) = \sum_{x = \infty}^{\infty} x \frac{p (x)}{q (x)} q (x) = E_{x \sim q (x)} [X \frac{p (X)}{q (X)}];

$\mathbb{E}_{x \sim p(x)}[X] = \sum_{x = \infty}^\infty x p(x) = \sum_{x = \infty}^\infty x \frac{p(x)}{q(x)} q(x) = \mathbb{E}_{x\sim q(x)}\left[ X\frac{p(X)}{q(X)}\right]\;;$ 所以我们可以使用蒙特卡洛平均来计算期望值

E_{x \sim p (x)} [X] \approx \frac{1}{n} \sum_{i = 1}^{n} x_{i} \frac{p (x)}{q (x)};

$\mathbb{E}_{x \sim p(x)}[X] \approx \frac{1}{n} \sum_{i=1}^nx_i \frac{p(x)}{q(x)}\;;$ 数据在哪里

x_{i}

$x_i$ 现在从模拟

q (x)

$q(x)$ .

当我们使用非策略方法时，通常在 RL 中使用重要性采样，即我们用来计算我们的行为的策略与我们想要评估的策略不同。因此，我想知道为什么我们不在 Q-learning 中使用重要性采样率，即使它被认为是一种离策略的方法？