我正在尝试计算两名评估者做出的当前/缺席决定的 kappa 分数,我听说他们可以根据测量对象的普遍性进行调整。
谁能建议如何计算 kappa 统计量,该统计量经过调整以考虑测量对象的普遍性?
我正在尝试计算两名评估者做出的当前/缺席决定的 kappa 分数,我听说他们可以根据测量对象的普遍性进行调整。
谁能建议如何计算 kappa 统计量,该统计量经过调整以考虑测量对象的普遍性?
Kappa 被视为机会调整一致性的度量,计算公式为其中和(和是边际总数)。从本质上讲,它是一种超出偶然预期的一致性的衡量标准。
如果其中一个类别的流行率很高,则机会一致性会很高,而 kappa 的值可能会出乎意料地低。为了对此进行调整,并针对 kappa 的偏差(我附近没有资源来刷新我的记忆以便能够写出偏差),可以使用流行度和偏差调整的 kappa (PABAK)。这可以计算为其中是类别数。
关于是否使用 PABAK 存在一些意见分歧。一些评论员认为,患病率和偏见效应本身很重要,因此应报告 kappa 以及患病率和偏见的衡量标准。其他人则喜欢单个号码的便利性。当我需要使用 kappa 时,我选择同时报告 PABAK 和 kappa。