机器算法验证 - 我应该使用哪个统计数据来对标称数据、多重响应的评分者间达成一致 - 吾爱随笔录

我应该使用哪个统计数据来对标称数据、多重响应的评分者间达成一致

机器算法验证可靠性协议统计

2022-04-01 04:26:03

我有 400 多个开放式回复。总数由一位评估者编码，总数中 10% 的相同样本由 2 位评估者编码。有 14 个标称代码可供选择，评估者可以在每个案例中使用任何数字，尽管大多数案例有 1-4 个代码。哪种统计测试最适合确定我是否对 10% 的样本有评估者间的一致性？

我是否还假设我需要将每个代码视为一个变量并寻找每个变量的一致性水平？

我正在使用 SPSS 21。

非常感谢，凯莉

1个回答

您可以为每个类别分别使用机会调整的一致性指数（例如，Cohen 的 kappa 或 Scott 的 pi）。或者，您可以使用以下方法：

Kramer (1980) 提出了一种评估评估者间可靠性的方法，其中评估者可以为每个测量对象选择多个类别。这种方法背后的直觉是将问题从分类之一重新构建为等级排序之一。因此，所有选定的类别均获得第一名，所有未选择的类别均获得第二名。然后可以使用等级相关系数或等级方差分析来计算机会调整的一致性。自然地，这种方法还允许由评分者对多个类别进行排名。

κ_{0} = \frac{\bar{P} - P_{e}}{1 - P_{e}} + \frac{1 - \bar{P}}{N m_{0} (1 - P_{e})}

$\kappa_0 = \frac{\bar{P} - P_e}{1 - P_e} + \frac{1 - \bar{P}}{Nm_0(1 - P_e)}$ 在哪里

\bar{P}

$\bar{P}$ 是每个受试者所有可能的观察对中一致对的平均比例，

P_{e} = \sum_{j} p_{j}^{2}

$P_e=\sum_j p_j^2$ 和

p_{j}

$p_j$ 是响应类别中观察的总体比例

j

$j$ 被选中，

m_{0}

$m_0$ 是每个主题的观察次数，并且

N

$N$ 是主题的数量。还可以证明，当只选择一个类别时，

κ_{0}

$\kappa_0$ 渐近地接近 Cohen 和 Fleiss 的 kappa 系数。

一个聪明的解决方案，但不是我在文章中见过的。

参考

克莱默，HC（1980）。kappa 系数的扩展。生物识别，36 (2), 207–16。

其它你可能感兴趣的问题

上一篇在 Kernel PCA 中获得的特征向量是正交的吗？下一篇SVM 目标函数中的变量是什么意思？