处理较差的评分者间可靠性,同时最大限度地减少数据丢失

机器算法验证 可靠性 协议统计
2022-04-01 14:32:50

编辑:虽然我很欣赏 Peter Flom 的建议和随后的讨论(并赞成他的回答),但我正在开奖以征求答案,该答案提供了一种特定的、正式的统计方法来处理这些不一致,同时最大限度地减少数据丢失。我强烈怀疑这个问题已经激发了我在下面的要点(或者可能完全不同!)的统计研究,但我不知道它并希望引起某人的注意。我会认为一个仅是参考和简短描述的答案值得赏金; 无需为我派生或实施该方法。我也接受一个给出聪明方法的答案,有一些细节,没有参考。我认为@Momo 可能会在下面的评论中有所作为,所以也许这个赏金会引出更多细节/背景信息 :)

编辑:为了建立一个易于处理的模型,我愿意假设不一致是“随机”出现的,例如由于随机错误阅读问题或错误点击平板电脑/计算机上的答案,因此错误可能与@whuber 在评论中给出的示例相反,可以认为它独立于任何辅助变量。


我最近遇到了一个关于对问题的答案不一致的统计问题。我认为这是一个基本问题,就像当您有多个评分者对如何评价特定项目有不同意见时,我认为这种语言可能更熟悉,这就是我选择这个标题的原因。

一个玩具例子:

Q1:你抽烟吗?
A1:没有
Q2:你一天抽多少支烟?
A2:5

当然,问卷中的“跳过模式”可以防止这种情况发生,但那艘船已经航行了。实际情况比这更复杂,涉及的问题更多,矛盾也更细微,但基本问题是一样的。问我这个问题的人的疑问可以简单地表述为:

是否有方法可以消除某种程度的不一致性,同时仍保留尽可能多的样本?

我非常清楚,如果您想“安全”,那么唯一要做的就是丢弃任何回复不一致的样本,但这不是我正在寻找的答案。特别是,在某些情况下,有充分的证据表明特定的回答是错误的,我正在寻找使用该证据的原则方法——作为一个极端的例子,假设十个问题测量相同的整体结构,十个问题中有九个同意 - 那么不同意的很可能是一个错误(例如错误阅读问题或错误点击用于管理调查的计算机/平板电脑)

我对这个主题的基本想法让我想起了两个一般想法:

  • 尝试建立一个模型来估计特定项目是错误的概率并切换“错误概率”非常高的响应。我担心的是,a)如果不对“错误率”做出疯狂的假设,这是无法处理的;b)如果每个构造只有几个(比如 3 或 4 个)问题,这种方法基本上是无用的。

  • 尝试选择问题的一些“可靠子集”(即尝试确定分歧是否经常来自问题的特定子集)。这样我就可以摆脱从数据集中删除列而不是行。这似乎是合理的,但更像是一个临时程序,我不确定如何正式化。

我对这个领域一点也不熟悉,而且在统计咨询中似乎偶尔会出现这种问题,所以我想知道在尝试“重新发明”之前如何处理(除了丢弃数据)轮”。

2个回答

在以前的工作中,我经常遇到这种情况。各种矛盾。就像@rolando2 一样,我认为任何通用的解决方案都不会像你自己想出的那样好。然后,您只需向您的听众证明它的合理性。

但是,您可以做的一件事是进行一系列敏感性分析,以不同的方式处理数据。也就是说,如果两个问题的答案不一致,您可以首先运行分析,假设每个人都正确回答了第一个问题,然后就好像每个人都正确回答了第二个问题一样。

对于某些特定的不一致,有已知的结果。例如,如果你问别人“你几岁”,这是众所周知的。“你什么时候出生的?” 后面的答案会更准确。

一般来说,如果问题是这样的,一个答案带有耻辱感,那么受到更多耻辱感的答案可能是正确的。

结构方程建模在这里可能会有所帮助,特别是验证性因子分析,它允许您测试您假设的测量模型是否适合数据,如果不适合,您如何调整它以做到这一点,例如通过删除项目。

与探索性因素分析一样,CFA 将调查响应(或测量某些潜在结构的其他项目)建模为由一个或多个潜在维度和随机误差引起的。通常,每个构造至少需要三个项目来识别测量模型,尽管有时您可以只使用两个维度就可以逃脱。

一旦你指定了你的潜在构造和假设来衡量每个构造的项目,你就可以估计模型,你会得到一些拟合指数,你可以使用这些指数来判断你的模型是否足够。您也可以通过各种标准比较不同的模型。您可以检查每个项目的因子负载和误差方差,以查看它是否似乎是衡量基础结构的好项目。这可以指导您从模型中删除哪些项目(即数据集中的列)。

除了创建测量模型之外,您还可以使用结构方程模型 (SEM) 进一步指定潜在构造之间的方向关系。这比使用传统的线性回归更可取,因为测量误差是明确建模的,而在通常的方法中,只假设结果变量中的随机误差。

您可以使用R 中的 sem 包来构建 CFA 和 SEM 模型。但是我没有使用过那个包。我使用过 Mplus 和 Amos,并且更喜欢 Mplus,因为它可以处理各种各样的结构方程模型,包括那些带有二元指标的模型。

作为参考,我喜欢Kline 关于 SEM 的书