我认为使用评分系统，例如Elo或Glicko，是一个不错的选择。

• 用对象 A 做实验，然后用对象 B、对象 C 等重复。
• 随机化匹配（即比较）顺序并在评级系统引擎中插入结果。

如果您对使用而不是开发感兴趣，rankade，我们的免费排名系统（用于运动、游戏、物品等）是另一种选择。它允许与 2 和 3+ 派系进行匹配，而 Elo 和 Glicko 仅适用于一对一（这里有一个比较）。由于您的项目，在每个测试中比较 3 或 4 种类型应该很容易且有用。

这里有一个可能的答案，虽然我想有一个更好的答案：

取行的意思（忽略空格）。

这可能是一种奇怪的方法，但逻辑回归可能有用。例如，如果第 1 个人比较了项目 1vs2 和 3vs4，第 2 个人比较了 2vs3 和 5vs6，并且如果较低的 # 项目始终被评为“2”，则数据可以在 R 中输入为：

data.frame(
T1=c(1,2,3,4,2,3,5,6),
T2=c(2,1,4,3,3,2,6,5),
Y =c(1,2,1,2,1,2,1,2) 
)

所有 3 个变量都是分类变量。在控制 T1 的情况下，您可以预测从 T2 获得 Y 中“2”的概率。p 值和标准误差将毫无意义，因为没有考虑嵌套，但估计值可能有用。

然后，您可以根据项目排名高于其他项目的概率对项目进行排序。