如何减少设计不佳的问卷的问题集?

机器算法验证 因子分析 民意调查
2022-04-09 06:51:01

我有一份很长但设计不佳的问卷,其中有很多问题。问卷确实需要完全重写,但在完成之前,组织需要在短期内再次使用它。

鉴于问卷的长度,减少问题的数量会有所帮助。一些“因素”完全由李克特分数格式的问题组成——这些问题的平均值被用来获得“因素”分数。有些问题可能只会对分数产生影响。

仅对每个“因素”下的问题进行因素分析并寻找单因素解决方案,消除那些不属于该因素的问题似乎是合理的吗?

4个回答

@Peter 和 @Jonathan 有一些好主意。不再重复,我再补充两个。

  1. 如果您需要缩短调查,并且不会因减少样本量而受到影响,您可以给不同的人提供一些不同的调查。

  2. 以两种方式重新分析旧数据:有和没有你怀疑不太重要的问题。然后看看当排除某些问题时,分析结果以及可能产生的任何建议是否存在显着差异。

我以前去过那里!遗留调查:不能和他们一起生活,不能没有他们......

虽然我同意@Peter Flom 的方法来查看相关性并减少高度相关的陈述的数量(这是一种标准方法来减少我所说的调查中评级量表的“砖墙”,并且具有足够简单的优势大多数人都理解并接受您的更改),我还要指出其他几件事。

  1. 调查长度通过“不同的死亡率”影响回答,或者一些受访者比其他受访者更有可能无法完成。通常,但并非总是如此,您会发现更快乐的受访者比不快乐的受访者更有可能完成长期调查。如果您继续使用此问卷的主要原因是提供与先前数据的比较,那么缩短调查可能无法满足您的需求。如果您只需要再使用一次,则最好暂时保留它,并将精力集中在完全重写上。
  2. 一些相关性反映了冗余,一些反映了巧合:确保您对选择消除的陈述进行一定程度的判断。酒店满意度调查的标准设计将包括一个关于客户对入住的整体满意度的问题,然后询问对入住体验的不同方面的满意度,如门卫、前台员工等。它们都将高度相关在典型情况下相互关联,但各自推动业务中的不同行动,尽管它们现在相互关联但如果业务的某个方面降低了其绩效,那么调查应该发现这一点。
  3. 考虑一个组织解决方案:您可以通过询问数据的消费者哪些不同的问题对他们真正重要来消除很多问题。如果调查一开始是 GIGO,那么统计方法可能只是在一个糟糕的基础之上进行分层。

您可以做的一件事是查看所有问题之间的相关性,看看是否有任何问题非常高(例如,超过 0.9 或类似的问题)。对于这些对,您可以随机消除一个问题。至少这会缩短事情的时间。

您还可以查看您认为在每个因素下的项目的 Cronbach alpha,并消除与其他因素相关性非常低的问题。

这些都不会使问卷变得更好......总是有GIGO,你说问卷很差。但他们应该让它更短一点。

我会选择项目反应理论(IRT)。IRT 不仅可以让您检查单维性,还可以检查项目信息曲线(或项目响应函数)之类的东西,如果您想减少项目数量但仍想在整个潜在规模上广泛地精确测量参与者,这可能会派上用场。

R中有很多适合这些模型的包。我最常用的是:

  • eRm

  • 莫肯

我建议你先看一下 Mokken 包,因为它包括一个自动项目选择程序aisp函数),它以探索性的方式自动构建良好的比例(注意,“好”在这里定义为称为可伸缩性系数 H)。