细节很重要，您的问题可能最好使用经典控制（求解状态方程）或运筹学风格优化来解决。但是，RL 也是一个不错的选择，因为它可以用来学习一个在出现问题时不会变脆的控制器。

对于 RL，您必须接受的一件事是约束将是软约束，即使您对它们进行严厉惩罚。也就是说，您可以预期内部温度可能会漂移到界限之外。在学习过程中肯定会。在为强化学习构建问题时，一个主要的设计问题是如何加权代表你目标的不同奖励。您可以将严格约束的权重更高，但至少最初它们需要足够低，以使成本节省不会完全被淹没。

我建议您的最坏约束失败惩罚略大于单个时间步长的最高可能电力成本。这意味着代理总是被激励在必要时花钱，而不是打破约束，同时仍然能够探索当它确实打破约束时会发生什么，而不必应对大量预测。

RL 有很多种类型。有些人更擅长处​​理不同类型的问题。我会将您的问题描述为：

• 偶发 - 但只是为了方便描述问题。事实上，您的代理会受到 24 小时剧集的激励，让内部温度在 24 小时结束时下降以节省资金，而此时它并不关心之后可能立即发生的事情。根据当时的电价，花更多钱可能会更理想。这可能与真正的最优行为只有很小的差异，但您可以通过将问题重新构建为一个连续的问题来发挥 RL 的优势（其中混合整数线性优化可能更难构建）。

• 连续状态空间，低维。

  • 如果事先知道价格，您可能希望扩大状态空间，以便代理知道它在当前价格下还有多长时间以及下一个价格是更高还是更低。或者，如果它们始终遵循相同的时间表，您可以将当前时间添加为状态变量。无论哪种方式，这都允许代理利用温度范围。例如，它可以在价格上涨之前加载廉价供暖，或者如果即将提供更便宜的电力，可以让温度降至可接受的最低值。

• 大的，可能是连续的行动空间。您可能需要考虑将其近似为例如 21 个动作（0 W、100 W ...... 2000 W），因为优化这个更简单的变体将更容易编码（DQN 可以做到），同时它可能不会显着影响任何动作的最优性解决方案。

我认为你不能为了使用 Q 表而简化你的状态空间。因此，只要您愿意离散化动作空间，DQN 代理可能是您可以在这里使用的最简单的代理。

如果您不想离散化动作空间，那么您将需要使用某种形式的策略梯度方法。这将包括一个将当前状态作为输入的策略网络，然后输出功率水平选择的分布——例如功率选择的平均值和标准偏差。在生产使用中，您可以将标准偏差设置为零并使用平均值作为操作选择。可以使用像 A3C 这样的方法来训练这样的代理。

我建议您离散化操作并使用基于 DQN 的代理来学习适合您环境的近似最优策略。如果这返回了一个有希望的结果，您可以停在那里或尝试使用连续动作空间和 A3C 进一步完善它。

此外，在进入主项目之前，您需要练习使用 DQN 解决一个更简单的问题。这里有两个合理的学习问题可能是Cartpole-v1和LunarLander-v2，它们也有一个连续动作变体。充分了解有关设置相关 RL 方法来解决这些玩具问题的知识，应该可以让您在处理更复杂的问题时有一个良好的基础。

Keras 文档包含Atari Breakout 的示例 DQN，您可以将其用作构建自己的代码的基础。