我如何对一组专家进行排序或排名?

机器算法验证 评分 估值
2022-03-25 19:07:20

我有一个数据库,其中包含一个领域的大量专家。对于这些专家中的每一个,我都有各种属性/数据点,例如:

  • 经验年数。
  • 许可证
  • 评论数
  • 这些评论的文字内容
  • 每个评论的 5 星评级,包括速度、质量等许多因素。
  • 奖项、协会、会议等

我想根据这些专家的重要性为这些专家打分(满分 10 分)。某些专家可能缺少某些数据点。现在我的问题是我如何想出这样的算法?谁能指点我一些相关的文献?

此外,我担心与所有评级/评论一样,这些数字可能会在某些值附近聚集。例如,他们中的大多数人最终可能会得到 8 或 5。有没有办法将小差异突出显示为仅某些属性的得分差异。

我认为可能相关的其他一些讨论:

3个回答

人们已经发明了许多系统来根据多个标准对事物(如专家)进行评级:访问 Wikipedia 页面上的多标准决策分析以获取列表。然而,没有很好地代表那里的是最有说服力的方法之一:多属性估值理论。 这包括一组评估标准集之间权衡的方法,以便 (a) 确定重新表达各个变量值的适当方法,以及 (b) 对重新表达的值进行加权以获得排名分数. 原理简单而有根据,数学无可挑剔,理论没有什么花哨的。更多的人应该知道并实践这些方法,而不是发明任意的评分系统。

最终,这可能不仅仅是一项统计工作。PCA 是一种非常强大的定量方法,可让您在其前几个主要成分上生成分数或权重,以用于排名。然而,解释主要成分是什么是非常具有挑战性的。它们是定量结构。他们不是辩证的。因此,有时无法解释它们的真正含义。如果您的受众不是定量的,则尤其如此。他们不会知道你在说什么。并且,会将您的 PCA 视为一些神秘的黑匣子。

相反,我会简单地排列所有相关变量,并根据人们认为的权重应该使用加权系统。

我认为,如果您为外部人员、客户、用户开发此功能,那么如果您可以将决定权重的灵活性嵌入到用户中,那就太好了。
一些用户可能更看重多年的经验,而不是认证,反之亦然。如果你能把这个决定留给他们。这样,您的算法就不是他们不理解且不舒服的黑匣子。您可以根据他们自己对重要事项的相对估值保持完全透明并由他们决定。

你认为你可以量化所有这些属性吗?

如果是,我建议进行主成分分析。在所有相关性均为正的一般情况下(如果不是,您可以使用一些转换轻松到达那里),第一个主成分可以被视为专家总重要性的度量,因为它是加权的所有属性的平均值(权重将是变量的相应贡献 - 从这个角度来看,方法本身将揭示每个属性的重要性)。每个专家在第一主成分中获得的分数就是您对他们进行排名所需的分数。