从问卷中识别无用的问题

机器算法验证 民意调查 可靠性 心理测量学 有效性
2022-02-28 04:17:12

我正在开发一个问卷。为了提高其可靠性和有效性,我想使用统计方法。

我想消除答案总是相同的问题。这意味着几乎所有参与者都对这些问题给出了相同的答案。

现在我的问题是:

  1. 这些无用问题的技术术语是什么,它们的答案总是相同的,独立于使用的上下文?
  2. 有什么方法可以识别这些问题?
2个回答

经典测试理论 (CTT) 和项目反应理论 (IRT) 都可以提供指导,说明哪些项目有助于您希望测量的潜在特征,哪些没有。对于 CTT,考虑 1) 项目难度,2) 项目与总分的相关性,3) 项目方差,以及 4) 如果项目被删除,对内部一致性估计(例如,Cronbach's alpha)的影响。

太容易或太难的项目往往无助于区分主题(区分高分者和低分者)。除非您对衡量表现最佳者之间的差异感兴趣,否则应该考虑删除非常困难的问题。同样,非常简单的项目仅适用于您对低绩效者的表现感兴趣的情况。

所有项目都应与总分呈正相关,您可以为该相关性设置 0.20 左右的下限作为指导。低相关性或负相关性可能表明您的问卷存在措辞问题,应该对问题进行反向评分。

应考虑删除具有低方差(分数可变性)的项目,因为它们不分离主题,也不有助于从调查中收集的信息。具有非常高方差的项目可能正在测量您希望测量的构造/特征之外的其他内容。

如果删除该项目后内部一致性的估计值有所改善,则应考虑删除该项目或重新措辞。

每个人都做对的项目有时是最大项目,每个人都做错的项目有时被称为最小项目。它们不会为您尝试收集的信息做出贡献。

如果您正在开发高风险问卷或计划营销问卷,您绝对应该考虑 IRT。然而,这是一个很大的主题领域,除非你真的很感兴趣,否则可能不值得在这里进入它的空间。

希望这可以帮助。

我相信您正在寻找的是项目反应理论。您所指的“无用”问题是辨别力差的项目。使用 IRT 分析,您可以计算调查参与者猜测项目的辨别力、难度和相关概率。R 程序有一个使用 IRT 的简单软件包,我想其他统计软件包也可以。

如果您想快速浏览这里的维基百科页面,但我建议您进行更多研究。 http://en.wikipedia.org/wiki/Item_response_theory