使用类内相关性与多个对象在多个属性上的评级的评估者间可靠性

机器算法验证 spss 可靠性 协议统计 类内相关
2022-04-06 18:05:13

最初的问题:

我正在尝试计算评估者间的可靠性。该领域以前的研究人员使用过组内相关性。SPSS 具有双向随机、混合随机和单向随机模型的选项。SPSS帮助说根据“人的影响是随机的”和“项目的影响是随机的”来选择正确的,有人可以向我解释这些术语的含义吗?

另外我想知道如何构建我的数据文件 - 我想我需要将每个评估者对每个项目的评分放在单独的列中(而不是每个评估者放在单独的行中),对吗?

更新的问题:

感谢我得到的帮助,我访问了有用的网站。我已经决定我需要使用混合模型,并且我已经转置了我的文件,以便每个评估者都是一列。

加性:

这些网站还提到了一些假设,其中之一是可加性,用 Tukey 的非可加性测试进行了测试。显然,这检验了案例和项目之间没有乘法交互的假设。我想我的计算中可能有太多变量,因为其他人使用的例子少得多,例如每个评分者只做出一个评分,如下所述,我的评分者做出的评分比这多得多。

  • 可加性假设是什么意思?
  • 当非可加性检验具有统计显着性时应该怎么做?

具有多个对象和属性的评估者间可靠性

我将更详细地解释我所做的事情。我有五个评估者,他们对观看不同情感电影的参与者的面部和声音表达进行评估。评分者对每部电影进行 18 次评分,共有 16 部电影,因此每位评分者共有 288 个变量,每位参与者评分。每个评分者都对相同的 4 名参与者进行了评分,我将这些参与者放入不同的文件中。我曾考虑为 16 部电影中的每一部电影制作单独的文件,但文件太多了。

  • 在这种特定情况下,我应该如何计算 ICC 并组织我的文件?
  • 我应该计算单个 ICC 的平均值还是选择随机样本?
1个回答

遵循Shrout 和 Fleiss (1979)(表 1 中的案例 1 至 3 ) ,这些是解释评估者或项目总体方差的不同方法:

  • 单向随机效应模型:评估者被认为是从更大的潜在评估者池中抽样的,因此它们被视为随机效应;然后,ICC 被解释为受试者/项目方差占总方差的百分比。这称为一致性ICC。
  • 双向随机效应模型:两个因素——评分者和项目/受试者——都被视为随机效应,除了残差方差外,我们还有两个方差分量(或均方);我们进一步假设评分者评估所有项目/主题;在这种情况下,ICC 给出了归因于评估者 + 项目/主题的方差百分比。
  • 双向混合模型:与单向方法相反,这里的评估者被视为固定效应(手头样本之外没有泛化),但项目/受试者被视为随机效应;分析单位可以是个人或平均评级。

我会说评分者必须作为列输入,尽管我不是 SPSS 专家。Dave Garson 的专用网站对于那些使用 SPSS 的人来说是值得一看的。还有一个关于可靠性分析的完整在线教程(Robert A. Yaffee)[存档版]。

有关混合效应方法的理论考虑,请考虑阅读我对这个相关问题的回答:启发练习中的可靠性