评估问卷的可靠性:维度、有问题的项目,以及是否使用 alpha、lambda6 或其他一些指标?

机器算法验证 主成分分析 可靠性 心理测量学 cronbachs-alpha
2022-02-01 20:40:59

我正在分析参加实验的参与者给出的分数。我想估计我的问卷的可靠性,该问卷由 6 个项目组成,旨在估计参与者对产品的态度。

我计算了 Cronbach 的 alpha,将所有项目视为一个尺度(alpha 约为 0.6)并一次删除一个项目(最大 alpha 约为 0.72)。我知道 alpha 可能被低估和高估,具体取决于项目的数量和基础结构的维度。所以我也进行了 PCA。该分析表明,有 3 个主成分解释了大约 80% 的方差。所以,我的问题都是关于我现在该如何进行?

  • 我需要对每个维度执行 alpha 计算吗?
  • 我是否删除了影响可靠性的项目?

此外,在网上搜索我发现还有另一种衡量可靠性的方法:guttman 的 lambda6。

  • 此度量与 alpha 之间的主要区别是什么?
  • 什么是好的 lambda 值?
2个回答

我认为@Jeromy 已经说过基本的,所以我将专注于可靠性的措施。

Cronbach's alpha 是一个与样本相关的指数,用于确定仪器可靠性的下限。它只不过是在计算量表分数时考虑的所有项目共享的方差指标。因此,不应将其与绝对的可靠性度量相混淆,也不应将其应用于整体的多维工具。实际上,做出了以下假设:(a)没有残差相关,(b)项目具有相同的负载,以及(c)规模是一维的。这意味着 alpha 与可靠性基本相同的唯一情况是均匀高因子载荷、无误差协方差和一维工具 (1) 的情况。由于其精度取决于项目相关性的标准误差,因此它取决于项目相关性的扩展,这意味着 alpha 将反映此相关性范围,而不管该特定范围的来源(例如,测量误差或多维性)。这一点在(2)中主要讨论。值得注意的是,当 alpha 为 0.70(用于组比较的广泛参考的可靠性阈值 (3,4))时,测量的标准误差将超过标准差的一半(0.55)。此外,Cronbach alpha 是内部一致性的度量,它不是一维性的度量,不能用来推断一维性(5)。最后,我们可以引用 LJ Cronbach 本人的话,

系数是一种粗略的装置,它不会将方差分量所暗示的许多细微之处暴露出来。特别是,当前评估中所做的解释最好通过使用标准测量误差进行评估。--- Cronbach & Shavelson, (6)

在过去 10 年的几篇论文中(例如,7-10)主要讨论了许多其他陷阱。

Guttman (1945) 提出了一系列 6 个所谓的 lambda 指数来评估类似的可靠性下限,而 Guttman 的λ3最低界限严格等同于 Cronbach 的 alpha。如果不是将每个项目的真实方差估计为项目之间的平均协方差,而是考虑每个项目的方差量,该方差可以通过所有其他项目的线性回归(也就是平方多重相关)来解释,我们得到λ6估计,也可以为多尺度仪器计算。更多细节可以在 William Revelle 即将出版的教科书An Introduction to Psychometric theory with applications in R(第 7 章)中找到。(他也是psych R 软件包的作者。)您可能有兴趣阅读第 7.2.5 和 7.3 节,特别是因为它概述了替代措施,如麦当劳ωt或者ωh(而不是使用平方多重相关,我们使用从 FA 模型确定的项目唯一性)或 Revelle 的β(将 FA 替换为层次聚类分析,更一般的讨论参见 (12,13)​​),并提供所有指数的基于模拟的比较。

参考

  1. 雷科夫,T. (1997)。量表可靠性、Cronbach 系数 alpha 以及对固定同类成分的基本 tau 等效性的违反。多元行为研究, 32, 329-354。
  2. 科尔蒂娜,JM (1993)。什么是系数 Alpha?理论与应用的检验应用心理学杂志,78(1),98-104。
  3. Nunnally, JC 和 Bernstein, IH (1994)。心理测量理论麦格劳-希尔心理学系列,第三版。
  4. 德沃斯,D.(2002 年)。分析社会科学数据伦敦:圣人出版社。
  5. 丹麦人,JE 和 Mann,好的。(1984 年)。具有潜在变量的一维测量和结构方程模型。商业研究杂志,12,337-352。
  6. Cronbach, LJ 和 Shavelson, RJ (2004)。我目前对系数 alpha 和后继程序的想法教育和心理测量,64(3),391-418。
  7. 施密特,N. (1996)。系数 Alpha 的使用和滥用心理评估,8(4),350-353。
  8. Iacobucci, D. 和 Duhachek, A. (2003)。推进 Alpha:自信地衡量可靠性消费者心理学杂志,13(4),478-487。
  9. Shevlin, M., Miles, JNV, Davies, MNO 和 Walker, S. (2000)。系数 alpha:一个有用的可靠性指标? 人格和个体差异,28、229-237。
  10. Fong, DYT, Ho, SY 和 Lam, TH (2010)。在存在不一致响应的情况下评估内部可靠性健康和生活质量结果,8, 27。
  11. 格特曼,L.(1945 年)。分析重测信度的基础。心理测量学,10(4),255-282。
  12. Zinbarg, RE, Revelle, W., Yovel, I. 和 Li, W. (2005)。克朗巴赫α, 雷维尔β, 和麦当劳ωh: 它们之间的关系以及可靠性的两种替代概念心理测量学,70(1),123-133。
  13. Revelle, W. 和 Zinbarg, RE (2009)系数 alpha、beta、omega 和 glb:对 Sijtsma 的评论心理测量, 74(1), 145-154

以下是一些一般性评论:

  • PCA:PCA 分析没有“揭示存在三个主要成分”。您选择提取三个维度,或者您依靠一些默认的经验法则(通常超过 1 的特征值)来决定要提取多少维度。此外,超过 1 的特征值通常会提取比有用更多的维度。
  • 评估项目维度:我同意您可以使用 PCA 来评估项目的维度。但是,我发现查看碎石图可以为维度数量提供更好的指导。您可能想查看William Revelle 关于评估尺度维度的此页面
  • 如何进行?
    • 如果规模已经确立,那么您可能希望保持原样(假设它的属性至少是合理的;尽管在您的情况下,0.6 在大多数标准中相对较差)。
    • 如果量表没有很好地建立,那么您应该从理论上考虑这些项目旨在测量什么以及您希望使用结果量表的目的。鉴于您只有六个项目,您没有太多空间来创建多个规模,而不会下降到令人担忧的每个规模的项目数量。同时,根据地板、天花板或低可靠性问题检查是否有任何问题项目是一个聪明的主意。此外,您可能需要检查是否有任何项目需要冲销。
    • 我整理了一些有关规模开发的一般资源的链接,您可能会发现这些链接对您有所帮助

以下解决您的具体问题:

  • 我需要对每个维度执行 alpha 计算吗?
    • 正如您可能从上述讨论中了解到的那样,我认为您不应将数据视为具有三个维度。根据您的目的和细节,您可以提出一系列论点,因此很难确切地说出该怎么做。在大多数情况下,我希望创建至少一个好的比例(可能删除一个项目)而不是三个不可靠的比例。
  • 我是否删除了影响可靠性的项目?
    • 由你决定。如果规模已建立,那么您可以选择不建立。如果您的样本量很小,则可能是随机抽样的异常。但是,一般来说,如果某个项目确实将您的 alpha 从 0.72 降低到 0.60,我会倾向于删除它。我还会检查这个有问题的项目是否实际上并不意味着要反转。

我将把关于 lambda 6(William Revelle 在这里讨论过)的讨论留给其他人。