我将假设您的问卷将被视为一个一维量表（否则，Cronbach 的 alpha 没有多大意义）。值得进行探索性因素分析来检查这一点。它还允许您查看项目与比例的关系（即，通过它们的负载）。

验证项目和规模的基本步骤应包括：

• 关于项目基本统计数据的完整报告（范围、四分位数、集中趋势、天花板和地板效应，如果有的话）；
• 检查您对 alpha 所做的内部一致性（最好，给出 95% 的置信区间，因为它取决于样本）；
• 用通常的统计数据（直方图 + 密度、分位数等）描述你的总结度量（例如，总分或平均分，又名量表分数）；
• 根据应该与您正在评估的结构相关的特定协变量检查您的摘要响应——这被称为已知组有效性；
• 如果可能的话，对照已知的测量相同结构（同时或收敛效度）的工具检查你的总结回答。

如果您的量表不是一维的，则必须对每个子量表执行这些步骤，并且您还可以分解出因子的相关矩阵以评估二阶因子结构（或使用结构方程建模或验证性因子分析，或无论你想要什么）。您还可以使用多特征量表或多特征多方法建模（基于量表内和量表之间的项目间相关性）或再次使用 SEM 来评估收敛效度和判别效度。

然后，我会说项目反应理论不会有太大帮助，除非你有兴趣缩短你的问卷，过滤掉一些显示差异项目功能的项目，或者在某种计算机自适应测试中使用你的测试。

在任何情况下，Rasch 模型都是针对二元项的。对于多头有序项目，最常用的模型是：

• 分级响应模型
• 部分信用模型
• 评级量表模型。

只有后两个来自 Rasch 家族，并且他们基本上使用相邻赔率公式，其想法是受试者必须“通过”几个阈值才能认可给定的响应类别。这两个模型之间的区别在于 PCM 没有强制阈值在 theta（潜在特征上的能力或主题位置）尺度上等距分布。分级响应模型依赖于累积赔率公式。请注意，这些模型都假设尺度是一维的；即，只有一个潜在特征。还有一些额外的假设，例如，局部独立性（即，反应之间的相关性可以通过能力量表的变化来解释）。

无论如何，您会在 Journal of Statistical Software: Special Volume: Psychometrics in R的第 20 卷中找到非常完整的文档和有用的线索，以在 R 中应用心理测量方法。基本上，我在日常工作中使用的最有趣的 R 包是：ltm、eRm、psych、psy。其他在 CRAN 任务视图Psychometrics中被引用。其他感兴趣的资源是：

• 关于使用 R 进行心理学实验和问卷调查的注意事项
• 使用 R 进行心理研究（W. Revelle 实际上正在用R 写一本关于心理测量学的书）
• PsychoR项目（不过，它并不关注 IRT 和规模开发）。

关于在量表开发中使用 FA 与 IRT 的良好评论可以在实践中的量表构建和评估中找到：因子分析与项目响应理论应用的回顾，由十个 Holt 等人（心理测试和评估建模 (2010) 52（3）：272-297）。

在支持上述所有内容的同时，我建议您执行以下操作（以类似的顺序）

首先，你应该使用 R，如果不是，你应该开始。以下建议基于 R 的使用。

我假设您此时已经计算了描述性统计等。如果没有，那么 psych 包有一个 describe() 函数，它应该为您提供所需的统计信息。

从 CRAN 安装 psych 包。加载心理包。对数据使用 fa.parallel 例程。这应该给你一些保留的因素。然后，使用 VSS（例程）。这将计算 MAP 标准，该标准为您提供不同（通常）数量的要保留的因素。使用一种因子分析形式（不是主成分）和每个因子数量的倾斜旋转。如果您的因子在倾斜旋转后似乎没有相关性，请切换到正交旋转。这是因为可以从倾斜旋转确定正交结构，但反之则不行。

提取 MAP 准则和并行分析准则之间的所有因子解。确定其中哪些具有最佳拟合指数并且最有意义。这是你应该保留的。

在 IRT 上，使用了 ltm 和 eRm，我建议从 eRm 开始。它为您的模型提供了更好的图形功能，并且对多分模型的支持更大。话虽如此，它只适合 Rasch 模型，并且来自心理问卷的数据通常不符合他们的要求。祝你好运！毫无疑问，您会发现心理测量学很有趣。

验证问卷意味着证明它测量了它应该测量的内容。所以我想说，这主要不是一个统计问题，如果不知道你问卷的具体内容，它是无法回答的。Cronbach alpha 不是关于有效性，而是关于内部一致性，这在某种程度上与可靠性有关（或者可以说它是可靠性，假设你的问题是可互换的——但事实并非如此）。

那么你能做些什么来验证你的问卷呢？您可以研究哪些心理过程会产生特定的结果模式（例如，通过尝试通过实验操作来诱导这种模式，或使用大声思考程序[“协议分析”，Ericsson & Simon，1992]）。或者比较一些应该有不同分数的对比组（例如患者与对照组）。或者将其与应该与您正在测量的特征相关的外部标准相关联。或者通过 Psychoscope (TM) 测量特征并将其用作标准。

其他答案在指出您可能实际可以做的事情时更有用——尽管严格来说，其中大部分与有效性无关（除了 Chi 提到的“已知群体有效性”和外部有效性）。

另请参阅 Markus & Borsboom (2013)，了解现代有效性方法（此和其他一些有用的参考文献 @ Borsboom 的主页）。