机器算法验证 - 获得 R 中 Cohen 的 Kappa 的 95% 置信区间 - 吾爱随笔录

获得 R 中 Cohen 的 Kappa 的 95% 置信区间

机器算法验证 r 置信区间科恩斯-卡帕协议统计

2022-03-27 12:45:08

我与两位放射科医师阅读胸部 X 光片进行了一项研究，并想计算他们同意的科恩 kappa。kappa2“irr”包和“psych”中的cohen.kappa函数都可以给我答案，但不会产生 95% 的置信区间。在 R 中也有什么好方法可以做到这一点吗？

1个回答

如果您有两个评分者，没有缺失评分，并且使用 1960 年未加权 kappa，则可以使用以下公式计算条件方差（请参阅下面的参考资料）：

v = \frac{1 - f}{n (1 - p_{e})^{2}} (p_{a} (1 - p_{a}) - 4 (1 - κ) (\sum_{k = 1}^{q} p_{k k} {\hat{π}}_{k} - p_{a} p_{e}) + 4 (1 - κ)^{2} (\sum_{k = 1}^{q} \sum_{l = 1}^{q} p_{k l} [(p_{A l} + p_{B l}) / 2]^{2} - p_{e}^{2}))

$v = \frac{1-f}{n(1-p_e)^2}\Bigg( p_a(1-p_a)-4(1-\kappa)\Big(\sum_{k=1}^qp_{kk}\hat{\pi}_k-p_a p_e\Big)+4(1-\kappa)^2\Big(\sum_{k=1}^q\sum_{l=1}^qp_{kl}[(p_{Al}+p_{Bl})/2]^2-p_e^2\Big)\Bigg)$

然后可以使用此方差估计来计算置信区间的界限。

C I = κ \pm \sqrt{v} \times t_{(1 - α / 2, n - 1)}

$CI = \kappa \pm \sqrt{v}\times t_{(1-\alpha/2, n-1)}$

参考

Fleiss, JL, Nee, JCM, & Landis, JR (1979)。kappa 在不同组评估者的情况下的大样本方差。心理公报， 86，974-977。

Gwet，吉隆坡（2008 年）。在高一致性的情况下计算评分者间可靠性及其方差。英国数学与统计心理学杂志， 61，29-48。

其它你可能感兴趣的问题

上一篇我应该对双峰分布使用什么转换？下一篇有没有比在情感分析中计算正负词更好的方法？