Kappa 系数是一个机会调整的一致性指数。在机器学习中，它可用于量化算法的预测与相同对象的一些可信标签之间的一致性程度。Kappa 从准确性开始——算法和可信标签分配给同一类别或类的所有对象的比例。但是，它会尝试调整算法和可信标签“偶然”将项目分配到同一类别的概率。它通过假设算法和可信标签每个都有一个预定的配额来分配给每个类别的对象比例来做到这一点。最初的 kappa 系数假设名义类别，但后来通过“加权”扩展到非名义类别。加权背后的想法是，某些类别比其他类别更相似，因此某些不匹配的类别对应获得不同程度的“部分信用”。二次权重是确定分配给每个不匹配的类别对的部分信用的一种流行方法。还有其他权重。我的网站上有关于所有这些概念的更多信息，包括 MATLAB 函数：mreliability.jmgirard.com

另见：Cohen, J. (1968)。加权 kappa：标称规模协议，规定规模分歧或部分信用。心理公报，70（4），213-220。

更新：请参阅我的协议包或 Gwet 的irrCAC包以了解 R 功能。

这是一个很好解释的二次加权 Kappa 分数示例：http: //kagglesolutions.com/r/evaluation-metrics--quadratic-weighted-kappa