有人可以解释 Fleiss kappa 和 Cohen kappa 之间的详细区别吗?以及该指标如何在幕后工作?
- 什么时候会使用 Fleiss kappa 而不是 Cohen kappa?
- 与 Cohen kappa 相比,使用 Fleiss kappa 有哪些优点/缺点?
有人可以解释 Fleiss kappa 和 Cohen kappa 之间的详细区别吗?以及该指标如何在幕后工作?
- 什么时候会使用 Fleiss kappa 而不是 Cohen kappa?
- 与 Cohen kappa 相比,使用 Fleiss kappa 有哪些优点/缺点?
弗莱斯适用于任意数量的评估者,Cohen's仅适用于两名评分员;此外,弗莱斯的允许每个评分者对不同的项目进行评分,而 Cohen 的假设两个评分者都在评分相同的项目。
然而,弗莱斯可能导致自相矛盾的结果(参见例如 Gwet,Handbook of Interrater Reliability,即即使使用名义类别,重新排序类别也会改变结果。但是 Cohen 的版本有其自身的问题,并且当存在很大差异时可能导致奇怪的结果可能结果的普遍性(参见例如 Feinstein 和 Cicchetti,高一致性但低 Kappa。
Gwet 的 AC1 统计似乎不受这些问题的影响。对于 R 评分者,它由下式给出
在哪里
和