我有 15 位主管对 21 名员工进行了从 1（最好）到 21（最差）的排名，但排名是严格按序排列的——没有可用的区间数据。我可以比较任何两个（或更多）主管的排名，并确定他们的评价有多接近吗？我将使用 Excel 2010（或笔/纸）进行分析，我无法使用统计软件。
样本数据（主管 3 是否更类似于 1 或 2）？
Ranking Supervisor 1 Supervisor 2 Supervisor 3
Employee 1 1 3 1
Employee 2 2 2 3
Employee 3 3 1 2
我不确定如何在 Excel 中执行此操作，但我想到的是Kendall 的 tau。该方法的要点是每对主管（例如，1 和 2）对每对员工进行统计，并计算他们的等级以相同方式排序的次数。
例如，查看主管 1 和 3。他们同意员工 1-2 和 1-3 的顺序，但不同意 2-3，因此他们的 tau 为 1/3（即（2-1 )/3)。主管 1 和 2 不同意所有配对，因此他们的 tau 为 -1（即 (0-3)/3）。
附录：您可能还想尝试Spearman 的 rho。它对异常值更敏感（例如，如果一位主管只是讨厌某人并将其排在最后，而其余顺序相同，则他们的 rho 会较低），所以我认为它不是那么好测量，但在 Excel 中计算非常容易。只做队伍的CORREL。区别有点像 MAD 与 RMSE 的区别；rho 更像是平方差，而 tau 更像是绝对差。
Johann 建议使用非参数的关联度量。如果您拒绝独立，那么您就是在说这两个群体之间存在差异。另一种方法是非参数方差分析，它可以使用 Kruskal-Wallis 检验来检测三个评估者之间的差异。专门为这个问题设计的其他关联度量是 Kappa 统计量和类内相关性。