如何在项目响应理论模型中量化测试和单个测试项目的内部一致性可靠性?我知道我可以求助于经典测试理论、Cronbach's alpha 和其他度量,但是有没有办法在 IRT 中表征可靠性?
项目反应理论模型中的内部一致性信度
机器算法验证
可靠性
心理测量学
项目反应理论
2022-04-08 12:40:28
1个回答
您可以根据 IRT 参数估计值计算测试信息曲线。这些曲线为您提供了每个测试的精度的潜在特征。资料可以转化为估计的标准误,这是对该测试的可靠性的直接估计:.
测试信息的度量也可以转换为由相关系数表示的传统可靠性度量(Thissen,2000):. 以下是从一组 TIC 到相关可靠性估计的转换:
# following Thissen, 2000:
TIC <- seq(1, 12, by=1)
round((rel <- data.frame(TIC, SEE=sqrt(1/TIC), REL=1-1/TIC)), 2)
TIC SEE REL
1 1.00 0.00
2 0.71 0.50
3 0.58 0.67
4 0.50 0.75
5 0.45 0.80
6 0.41 0.83
7 0.38 0.86
8 0.35 0.88
9 0.33 0.89
10 0.32 0.90
11 0.30 0.91
12 0.29 0.92
例如,TIC > 5 对应于可靠性 > .80。
Thissen, D. (2000)。可靠性和测量精度。在 H. Wainer(主编)中,计算机化自适应测试:入门(第 2 版,第 159-184 页)。劳伦斯·厄尔鲍姆联合出版商。