在我为在线强化学习实施 Thompson Sampling (TS) 时，我的分布用于选择$a$是$\mathcal{N}(Q(s, a), \frac{1}{C(s,a)+1})$， 在哪里$C(s,a)$是次数$a$已被选中$s$.

但是，我发现这在某些情况下效果不佳，具体取决于$Q(s,a)$. 例如，如果$Q(s_i,a_1) = 100$， 和$C(s_i,a_1) = 1$，那么这给出了 0.5 的标准偏差，即使该动作只被选择了一次，这也是非常有信心的。比较一下$a_2$这可能是最佳动作，但从未被选中，所以$Q(s_i, a_2) = 0$和$C(s_i,a_2) = 0$. TS不太可能选择$a_2$.

那么，我该如何解决这个问题呢？

我尝试对 Q 值进行归一化，使其范围从 0 到 1，但该算法返回的总回报要低得多。我想我也必须调整相对于 Q 值的标准偏差的大小。为 1 个正态分布执行此操作非常简单，但我无法弄清楚如何为必须考虑其他分布的多个分布执行此操作。

编辑：计数应该是$C(s,a)$代替$C(s)$正如尼尔指出的那样