弗莱斯卡帕 vs 科恩卡帕

机器算法验证 协议统计 公制 科恩斯-卡帕
2022-04-02 07:26:46

有人可以解释 Fleiss kappa 和 Cohen kappa 之间的详细区别吗?以及该指标如何在幕后工作?

  • 什么时候会使用 Fleiss kappa 而不是 Cohen kappa?
  • 与 Cohen kappa 相比,使用 Fleiss kappa 有哪些优点/缺点?
1个回答

弗莱斯κ适用于任意数量的评估者,Cohen'sκ仅适用于两名评分员;此外,弗莱斯的κ允许每个评分者对不同的项目进行评分,而 Cohen 的κ假设两个评分者都在评分相同的项目。

然而,弗莱斯κ可能导致自相矛盾的结果(参见例如 Gwet,Handbook of Interrater Reliability,即即使使用名义类别,重新排序类别也会改变结果。但是 Cohen 的版本有其自身的问题,并且当存在很大差异时可能导致奇怪的结果可能结果的普遍性(参见例如 Feinstein 和 Cicchetti,高一致性但低 Kappa

Gwet 的 AC1 统计似乎不受这些问题的影响。对于 R 评分者,它由下式给出

γ1=PaPe|γ11Pe|γ1

在哪里 Pe|γ1=1K1π^k(1π^k)

π^k=RikR