调整 kappa inter-rater 协议的流行率

机器算法验证 协议统计 科恩斯-卡帕
2022-03-31 05:03:17

我正在尝试计算两名评估者做出的当前/缺席决定的 kappa 分数,我听说他们可以根据测量对象的普遍性进行调整。

谁能建议如何计算 kappa 统计量,该统计量经过调整以考虑测量对象的普遍性?

1个回答

Kappa 被视为机会调整一致性的度量,计算公式为其中是边际总数)。从本质上讲,它是一种超出偶然预期的一致性的衡量标准。pobspexp1pexppobs=i=1kpiipexp=i=1kpi+p+ipi+p+i

如果其中一个类别的流行率很高,则机会一致性会很高,而 kappa 的值可能会出乎意料地低。为了对此进行调整,并针对 kappa 的偏差(我附近没有资源来刷新我的记忆以便能够写出偏差),可以使用流行度和偏差调整的 kappa (PABAK)。这可以计算为其中是类别数。kpobs1k1k

关于是否使用 PABAK 存在一些意见分歧。一些评论员认为,患病率和偏见效应本身很重要,因此应报告 kappa 以及患病率和偏见的衡量标准。其他人则喜欢单个号码的便利性。当我需要使用 kappa 时,我选择同时报告 PABAK 和 kappa。