我正在根据经验开发问卷，我将在这个例子中使用任意数字来说明。就上下文而言，我正在开发一份心理问卷，旨在评估焦虑症患者常见的思维模式。一个项目可能看起来像“我需要反复检查烤箱，因为我不能确定它是否关闭”。
我有 20 个问题（李克特 5 分），可能由一个或两个因素组成（请注意，实际上我有接近 200 个问题，由 10 个量表组成，每个量表可能由两个因素组成）。我愿意删除大约一半的项目，在两个因素之一上留下 10 个问题。
我熟悉探索性因素分析（EFA）、内部一致性（Cronbach's alpha）和项目响应理论（IRT）中的项目特征曲线。我可以看到我将如何使用这些方法中的任何一种来确定在任何单一尺度内哪些项目是“更差”的。我很欣赏每种方法也回答了不同的问题，尽管它们可能会导致相似的结果，而且我不确定哪个“问题”最重要。
在我们开始之前，让我们确保我知道我分别用这些方法做什么。
使用 EFA，我将确定因素的数量，并删除在其各自因素上负载最少（比如说 <.30）的项目，或跨因素交叉负载的项目。
使用内部一致性，我会删除“如果项目被删除则 alpha”更差的项目。我可以假设我的规模中有一个因素，或者在初始 EFA 之后确定因素的数量，然后为每个因素运行我的 alpha。
使用 IRT，我将删除不评估感兴趣因素的项目，以及他们的 (5 Likert) 响应选项。我会目测项目特征曲线。我基本上会在 45 度角上寻找一条线，从李克特量表上的选项 1 一直到潜在分数上的 5。我可以假设一个因素这样做，或者在初始
EFA 之后进行以确定因素的数量，然后为每个因素运行曲线。
我不确定使用这些方法中的哪一种来最好地确定哪些项目是“最差的”。我在广义上使用最差，这样该项目会损害测量，无论是在可靠性还是有效性方面，这对我来说都同样重要。大概我可以结合使用它们，但我不确定如何。
如果我要继续我现在所知道的并尽力而为，我会做以下事情：
- 进行 EFA 以确定因素的数量。还要删除在其各自因素上加载不良的项目，因为我不希望加载严重的项目，无论它们在其他分析中会如何做。
- 执行 IRT 并删除该分析判断的不良项目（如果 EFA 中仍有任何问题）。
- 只需报告 Cronbach 的 Alpha，不要使用该指标作为删除项目的手段。
任何一般准则将不胜感激！
这里还列出了您或许可以回答的具体问题：
基于因子载荷删除项目和基于 Chronbach 的 alpha 删除项目之间的实际区别是什么（假设您对两个分析使用相同的因子布局）？
我应该先做什么？假设我使用一个因素进行 EFA 和 IRT，并且都确定了应该删除的不同项目，那么哪个分析应该优先？
尽管我会报告 Chronbach 的 alpha 值，但我并不打算进行所有这些分析。我觉得只做 IRT 会遗漏一些东西，同样只做 EFA。