如果教师占学生成绩方差的 30%,那么教师能否通过更好的教学来提高 30% 的成绩?

机器算法验证 方差
2022-01-29 03:07:04

我的教授写道:

使用复杂统计技术的研究表明,教学专业知识占学生成绩差异的 30% 左右(Hattie,2003 年)。想一想,如果您每年通过您的课程的每组学生都能实现 30% 的增长,那么您的学生考试成绩会是什么样子。

我相信教授误解了方差。“教学专业知识约占学生成绩差异的 30%”意味着教师对学生成绩的 30% 负责。你不能由此推断出一个优秀的老师相对于一个根本不教书的老师,学生的成绩会提高 30%?如果我们有 2 位老师,一位在教学专业知识的底部,另一位在顶部,教授所有其他变量不变的课程(社会经济学、动机等),那么更好的老师的班级相对于更差的老师?

3个回答

你怀疑你的教授误解了你是对的。

正确的答案是,对于教师专业知识驱动的学生成绩提高百分比,我们无话可说什么都没有。

为什么会这样?报价是根据方差解释的。解释的方差与测量量表的实际值无关 - 学生成绩的任何百分比提高都将被考虑在内。两者是完全分开的。

让我们看一个例子。下面是一些模拟数据:

方差解释

代码:

nn <- 1e2
set.seed(1) # for reproducibility

teaching_expertise <- runif(nn)
student_achievement <- 5+0.1*teaching_expertise+rnorm(nn,0,0.05)
model <- lm(student_achievement~teaching_expertise)

plot(teaching_expertise,student_achievement,pch=19,las=1,
    xlab="Teaching Expertise",ylab="Student Achievement")
abline(model,col="red")

请注意,这model是正确指定的:学生成绩线性取决于教学专业知识,这就是我所建模的。这里没有便宜的技巧。

我们有R2=0.30,因此教学专业知识确实占学生成绩的 30%(见此处):

> summary(model)

Call:
lm(formula = student_achievement ~ teaching_expertise)
... snip ...
Multiple R-squared:  0.304,     Adjusted R-squared:  0.2969

然而,这是我们预测的最底层教师(教学专业知识为 0)与最顶端教师(1)的学生成绩:

> (foo <- predict(model,newdata=data.frame(teaching_expertise=c(0,1))))
       1        2 
4.991034 5.106651

改进的顺序是5.114.994.992.4%.

> diff(foo)/foo[1]
         2 
0.02316497

(另外,这是预期的成就。实际的成就会有所不同。随着回归平均值通常在极端情况下更强,实际差异会更小。)

你知道吗?我们可以将此百分比更改更改为几乎任何我们想要的数字。甚至是百分比的改善!如何?只需在上面的数据模拟中更改那个无害的数字5,即截距。

这是怎么回事?方差解释测量模型减少(平方和)残差的量,即回归线的残差与总体平均值的残差之间的差异。通过改变截距(the 5),我们可以上下移动一切。包括整体平均水平。因此,更改截距将使方差解释完全不变。(如果你有 R,试试这个。我们会等。)

但是,上下移动所有内容都会改变具体分数。特别是“好”老师与“坏”老师的百分比提高如果我们将所有内容都降低得足够多,那么“”老师的学生成绩就会很差。“好”老师相对于基线的积极变化会给你带来负百分比的改进。(再一次,试试这个。截取-1作品。)

是的,当然,这种负百分比改进在这里毫无意义。这只是说明方差解释与测量改进百分比之间存在关系的事实。

Hattie 2003的论文提到了一种忽略交互作用的简单层次线性建模形式。论文对 30% 的描述不是特别透彻,参考文献中的链接断开,很难看出这个数字的来源。我假设他的方法依赖于部分 R-squared

答案是否定的,从一个坏老师变成一个好老师不能指望提高 30% 的成绩。这两个 30% 的测量值完全不同。

例如,假设性能遵循以下等式:

performance=β0+β1 studentEffort+β2 teacherEffort+noise
如果β2很小,随着teacherEffort 的变化,性能图将几乎是平坦的。无论发生什么情况都可能发生这种情况R2是或它可能如何分成部分R2的。

换句话说,说教学工作量占变异的 30% 并不能告诉您数据集上的变异是什么,即性能发生了多少变化。

你写道“教学专业知识占学生成绩差异的 30%”意味着教师对学生成绩的 30% 负责。

一个更好的表述应该是“老师要对学生之间表现差异的 30% 负责”。

也就是说,如果某组学生A老师的平均成绩是80分,另一组学生B老师的平均成绩是70分,那么A老师和B老师的成绩可以占3分左右(30% 10 点的性能差异)。