人工智能 - 监督学习可以改写为强化学习问题吗？ - 吾爱随笔录

监督学习可以改写为强化学习问题吗？

人工智能强化学习比较监督学习函数逼近回归

2021-10-19 05:03:31

假设有一系列对 $(x_i, y_i), (x_{i+1}, y_{i+1}), \dots$ 观察和相应的标签。我们还假设 $x$ 被认为是自变量并且 $y$ 被认为是依赖于的变量 $x$ . 因此，在监督学习中，人们想要学习函数 $y=f(x)$ .

强化学习可以用来学习吗 $f$ （可能，甚至学习符号形式 $f(x)$ )?

只是一些草图如何完成： $x_i$ 可以认为是环境和每个 $x_i$ 定义了一些可能的“动作”——可能的符号形式 $f(x)$ 或参数的可能数值 $f(x)$ （如果符号形式是固定的）。以及具体选定的动作/功能形式 $f(x, a)$ （一组参数）可以从损失函数中分配奖励：观察的接近程度 $(x_i, y_i)$ 是可以从中推断出的值 $f(x)$ .

沿着我在上一段中提供的框架是否有 RL 的想法或工作？

1个回答

任何监督学习 (SL) 问题都可以转换为等效的强化学习 (RL) 问题。

假设您有训练数据集 $\mathcal{D} = \{ (x_i, y_i \}_{i=1}^N$ ，在哪里 $x_i$ 是一个观察和 $y_i$ 对应的标签。然后让 $x_i$ 成为一个状态，让 $f(x_i) = \hat{y}_i$ ，在哪里 $f$ 是您的（当前）模型，请采取行动。所以，观察的预测标签 $x_i$ 对应于状态中采取的动作 $x_i$ . 采取行动后获得的奖励 $f(x_i)$ 处于状态 $x_i$ 然后可以定义为损失 $|f(x_i) - y_i|$ （或任何其他适当的损失）。

这种损失的最小化就等于（预期的）奖励的最大化。因此，理论上，您可以使用以下形式的轨迹

T = {(x_{1}, f (x_{1}), | f (x_{1}) - y_{1} |), \dots, (x_{N}, f (x_{N}), | f (x_{N}) - y_{N} |)}

$T=\{(x_1, f(x_1), |f(x_1) - y_1|), \dots, (x_N, f(x_N), |f(x_N) - y_N|)\}$ 学习价值函数

q

$q$ （例如，使用 Q-learning）或策略

π

$\pi$ ，然后，给定一个新的状态

x_{new}

$x_{\text{new}}$ （观察）产生动作

f (x_{new})

$f(x_{\text{new}})$ （预测的标签）。

但是，请注意，学习到的策略可能无法推广到训练数据集中不存在的观察结果。此外，尽管可以将 SL 问题作为 RL 问题来解决，但在实践中，这可能不是最合适的方法（即它可能效率低下）。

有关更多详细信息，请阅读 Barto 和 Dietterich 的论文Reinforcement Learning and its Relationship to Supervised Learning (2004)，他们很好地概述了监督学习和强化学习及其关系。Richard Sutton的《Learning to predict by the methods of temporal Differences》（1988 年）一文也应该从监督学习的角度概述强化学习。但是，请注意，这并不意味着强化学习问题可以被视为等效的监督学习问题。有关详细信息，请参阅上述论文Reinforcement Learning 及其与监督学习的关系的第1.3.3 节将强化学习转换为监督学习。

因此，强化学习可用于分类和回归任务。例如，参见Mathe 等人的Reinforcement Learning for Visual Object Detection (2016)。

其它你可能感兴趣的问题

上一篇什么是“代理模型”？下一篇模糊逻辑有实际应用吗？