衡量学生表现的方法

机器算法验证 统计学意义 卡方检验
2022-03-27 11:51:30

使用他们以前的结果和结果形成能力测试,学生被给予目标分数。之间的十进制数在他们的期末考试之后,他们会按照相同的等级进行评分(尽管他们会收到一封对应于间隔的字母)。0120

我想设计一个统计测试来比较他们的目标分数和他们的实际分数。

我的想法是使用 -显着性检验,其中目标分数是预期频率,而它们的实际分数是观察到的频率假设我有学生,那么 我的零假设是没有区别我的大学在教学和学习方面比一般大学。(目标分数来自一组政府统计人员,他们对所有机构的所有过去结果进行统计分析。)χ2EiOi20

X2=i=120(OiEi)2Ei
H0

显然,如果对于所有,我们可以有的置信度拒绝原假设假设我们希望有的信心可以拒绝原假设,那么我们会找到并要求Oi=Ei1i20X2=00%H095%χ202(5%)=31.41X231.41

我得到的自由度与学生人数相同,因为没有限制。候选人的最终总分,即是不固定的。Oi

这个模型看起来会起作用,还是测试的错误应用?

您能推荐任何其他型号或对当前型号进行任何改进吗?

4个回答

1)问题在于卡方的出现是因为它是(大约)正态分布变量的标准化偏差的平方和。

您提出的分子很好 - 在零假设下它会很小。问题出现在分母上。在泊松(或多项式)计数集的情况下,标准化偏差的平方和将(或将简化为)除以预期值。

卡方分母中的似乎不适用于您的情况。要使其成为问题中的卡方检验,您需要指定的方差。EiOiEi

你似乎是在每个学生的基础上这样做的,所以你需要有一个每个学生的方差。您可能会假设它们具有相等的方差(我怀疑这是真的,因为接近 0 和 120 的限制的分数的变异性将小于它们接近中间时的分数变异性。

2)我还担心您选择的统计数据可能与感兴趣的问题不对应。你试图回答的根本问题是什么?或者,更直接地说,您最有兴趣识别的替代方案是什么?

您不能在这里使用测试,因为它用于计数(频率)数据。是观察值的频率。在您的情况下,它是学生的单一分数,即恰好一次观察的结果。测试的动机是您知道结果,然后进行 N 次实验并观察个数,其中,因此您将其与预期频率χ2Eiiχ2PiiOiiiOi=NEi=N×Pi

更新:如果这是美国,那么大学理事会可以提供考试成绩的测量误差,他们有可用的统计表,例如这些他们声称测量误差约为 30 点。因此,您可以使用此类信息来查看单个学生的分数是否与目标分数不同。

  1. 您还可以测试整个学生组的得分是否与目标不同。在这种情况下,N 个学生的平均分数的标准差是因此,您可以通过获得 t 统计量,其中分子是目标分数的平均值与测试结果之间的差异。根据 t-stat,您可以判断您的考试成绩是否与目标显着不同。σN=σ/Nt=T¯S¯σN

  2. 在您的情况下,您没有测量误差您可以尝试在合理的假设下对其进行估计。机制很简单:,其中 - 个别学生的目标和测试分数。基本上,得到与目标分数的偏差的方差。这将为您提供测量误差的估计值,您可以将其插入方程以获得类似于第一种情况的平均班级分数的测量误差估计值。σσ^2=Var[TiSi]Ti,Siσ^N

现在,您将如何解释这个结果?假设您的班级平均水平低于目标。这是否意味着你的教学比其他学校差?这将取决于如何计算分数。例如,如果有可能所有大学的分数都低于整个英国的目标,那么您的大学可能与其他大学一样优秀。另一方面,如果他们以某种方式重新调整考试分数,以便以某种方式与英国平均水平的目标相匹配,那么情况就不同了。

我想知道随机优势的简单秩和检验(或者,如果相同形状和分布的假设仅在中心位置不同,则检验中值差异)是否有效。您有成对的观察结果,以及两个非严格正态的度量(即可能的分数不在的范围内)。似乎是一个简单的应用程序。另一个优势是它在所有主要软件包中都实现了。

好吧,我不确定,但是您可能想知道目标分数是否可以预测实际分数。我认为目标分数和实际分数之间的正相关是一个合理的假设,因此您可以尝试Oi=α+βEi+ε

R中的一个玩具示例:

> set.seed(123)
> e <- rnorm(20, 80, 20)
> range(e)
[1]  40.67 115.74
> o <- e - rnorm(20, 20, 10)
> range(o)
[1]  21.29 111.17
> fit <- lm(o ~ e)
> summary(fit)
[...]
Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   -22.73       8.51   -2.67    0.016 *  
e               1.04       0.10   10.38    5e-09 ***

在本例中,您得到: (估计下的标准误。)

Oi=22.73(8.51)+1.04(0.10)Ei+ε

这意味着:

  • 实际分数平均比目标分数低 22.7;
  • 当目标分数较高时,实际分数较高的可能性略高。

如果回归对您来说并不荒谬,并且您得到了合理的解释(即合理的),您可以添加一些预测变量,例如性别。R2