我的理解是否正确，是否建议为我的用例设置这样的奖励结构？

您的理解是不正确的，在这种情况下为目标状态设置极高的奖励可能会适得其反。

在您的情况下，它可能适得其反的最重要方式可能是您对不良结果的缩放变得无关紧要。与 +1000 结果相比，0 和 -50 之间的差异并不显着。反过来，这意味着代理不会真正关心它失败的程度，除非它已经接近最佳解决方案时进行微调。

如果环境是随机的，那么代理将优先考虑处于目标温度的小概率，而不是最终处于极端恶劣温度的大概率。

如果您使用折扣系数，$\gamma$，然后代理将优先考虑立即处于目标温度，可能会在几个时间步内超过并最终达到不需要的温度。

对您有利，您的环境是一个目标是某种可控稳定性的环境，例如“cartpole”环境，具有负反馈循环（对测量量的校正总是向相反方向强制）。这些代理通常对超参数的变化非常稳健，因此您可能仍然会发现您的代理学习成功。

但是，我建议坚持使用简单且相对较小的奖励函数规模。在您确定它表达了您对代理的目标之后，尝试使用它不太可能导致更好的解决方案。相反，您应该将精力集中在代理的执行方式上，以及您可以对学习算法进行哪些更改。

我会做什么（不了解您的环境）：

• 当温度在可接受范围内时，每时间步奖励 +1

• 当温度超出可接受范围时，奖励在 -0.1 * 每个时间步的温差。用华氏度还是摄氏度来测量并不重要。

• 无折扣（设置折扣系数$\gamma =1$如果您使用的公式包含折扣）

可能的最大总奖励是 +36，你可能不会期望比 -100 左右更糟糕的情节。这将在图表上整齐地绘制并且易于解释（低于 36 的每个单位大致相当于代理每天在可接受的温度之外花费 15 分钟的性能）。更重要的是，这些较低的数字不应在智能体学习时导致大量错误值，这将有助于训练神经网络以预测未来奖励。

顺便说一句（正如您没有问的那样），如果您使用基于值的方法，例如 DQN，那么您需要在状态特征中包含当前时间步（或剩余时间步）。这是因为总剩余奖励——由动作值 Q 表示——取决于智能体必须采取行动的剩余时间。对于代理来说，在最后一个时间步之后发生的事情也无关紧要，因此它可以选择在那之前的操作，这将使系统在该点超出可接受的温度。