我正在开发一个定制的 RL 环境，其中每个动作都表示为一个元组$a = (a_1,a_2,\cdots,a_n)$这样必须满足某些条件才能进入$a$（例如，$a_1+a_2+\cdots+a_n \leq \text{constant}$）。

我正在使用策略梯度方法，但在对动作的潜在概率分布进行建模时遇到了一些困难。有没有朝这个方向做的工作？

对于约束$a_1+a_2+\cdots+a_n \leq \text{constant}$，我正在考虑生成$n+1$均匀随机变量$U_1,U_2,\cdots,U_n, U$, 并设置$a_i = \text{constant}\times U \times \frac{U_i}{\sum_{j=1}^n U_j}$. 问题是联合密度计算起来有点混乱，这是获得负对数似然所必需的。我很好奇这个问题在实践中是如何处理的。