为什么 Sarsa 的动作选择是随机的？

政策可能是随机的。就 SARSA 而言，它是随机的，因为使用了$\epsilon$-贪婪的。

它不是在策略上，因此不是 ϵ-greedy 吗？

我不太明白这个问题。SARSA 是在政策评估$\epsilon$-贪婪的政策。Q-learning 是离策略评估$\epsilon$-贪婪的政策。$\epsilon$-greedy 只是将动作价值函数转化为策略的一种方式。

因为 Expected-Sarsa 是脱离策略的，所以它从中学习的经验可以来自任何策略......从这种策略中学习的 Exected-Sarsa 通常如何比从 ϵ-greedy 策略中学习的正常 Sarsa 更好，尤其是在相同数量的情况下经验？

比较不同性质的体验是不公平的，因为政策外体验包含的有用信息较少。因此，SARSA 和 Expected SARSA 都应该使用他们自己的政策经验进行比较。

虽然预期 SARSA 更新步骤保证减少预期 TD 误差，但 SARSA 只能在预期中实现这一点（以足够小的学习率进行多次更新）。从这个角度来看，毫无疑问，Expected SARSA 应该会更好。

可能更一般：如何以这种方式（例如通过方差）比较 on-policy 和 off-policy 算法，即使它们的概念和假设如此不同？

与上一个答案相同，在没有相同体验质量的情况下比较它们是不公平的。