二次加权 kappa 与线性加权 kappa

机器算法验证 协议统计 科恩斯-卡帕
2022-03-29 23:24:36

什么时候应该使用二次加权 kappa 或线性加权 kappa?

我有两个观察者评估许多对象的类别。等级为失败、通过 1、通过 2 和优秀(序数等级)。“不及格”或“优秀”之间的分类错误以及不同程度的“通过”比通过类别(通过1和通过2)之间的错误更严重。

我可以将类的值定义为“fail = 1”、“pass1= 20”、“pass2=25”、“excellent=40”并使用线性加权 kappa(以直观/主观的方式对极端情况进行更高的惩罚) ? 或者我应该使用二次加权 kappa 吗?为什么我应该更喜欢一种而不是另一种?

1个回答

对于四个类别,将使用以下线性和二次权重。这些表可以通过逐行索引一个评估者和按列索引另一个评估者来读取。例如,如果一名评分员将项目分配给 Pass2(第 3 行),而另一名将其分配给失败(第 1 列),则评分员将获得 0.33“协议信用”。这超过了使用名义(即身份)权重奖励的 0.00。

LinearFailPass1Pass2ExcelFail1.000.670.330.00Pass10.671.000.670.33Pass20.330.671.000.67Excel0.000.330.671.00

QuadraticFailPass1Pass2ExcelFail1.000.890.560.00Pass10.891.000.890.56Pass20.560.891.000.89Excel0.000.560.891.00

要在线性权重和二次权重之间进行选择,请问问自己偏离 1 与 2 类别之间的差异是否与偏离 2 与 3 类别之间的差异相同。使用线性权重,惩罚总是相同的(例如,每增加一个类别就减去 0.33 个学分)。然而,二次权重的情况并非如此,惩罚开始较轻,然后变得更严厉。

DifferenceLinearQuadratic01.001.0010.670.8920.330.5630.000.00

另外,如果有人感兴趣,这里是两者的公式:

Linear: wi=1ik1
Quadratic: wi=1i2(k1)2
其中之间的差异是类别的总数。ik