如何让一群人对一组对象进行集体排名?

机器算法验证 民意调查 排行 布拉德利特里模型
2022-04-02 16:37:26

我为一个监督全国约 180 所学校的组织工作。我们定期从这些学校收集结果数据并对它们进行排名。我被要求对国家办公室(大约 100 人)进行一项调查,以根据工作人员对学校质量的非数据印象来确定最佳和最差的学校。

一些附加信息:

  • 并非所有工作人员都熟悉所有学校。当被要求对一所学校进行排名时,“我对这所学校一无所知”需要成为一个选项。
  • 一些工作人员与特定的学校子集合作,因此这些工作人员的知识对于这些特定的学校非常有用。

我的第一种方法是随机生成 10 所左右的学校,每所学校大约有 6 组。然后让每个工作人员对每组进行排名,指出哪些学校是未知的。然后,我可以对每所学校的排名进行平均,并将其用作全球排名。

上述方法可行吗?有没有更好的办法?如果这种方式可行,我需要为每所学校提供多少数据点才能使汇总排名具有代表性?

1个回答

您可以使用基于成对比较的Bradley-Terry-Luce类型模型。随机(或以其他方式)生成一堆学校,让每个工作人员查看几对并告诉你这对中哪个更好(或者如果他们不熟悉其中一所或两所学校,则“我不知道” )。然后将这些数据插入模型以获得排名。

有适合这些模型的 R 的 BradleyTerry2 包。