McNemar 检验或 T 检验,用于测量匹配的前后检验结果的统计显着性

机器算法验证 重复测量 分类数据 t检验
2022-03-29 13:06:49

我对选择适当的统计测试有疑问,如下所示:

我有一群人参加培训课程,以衡量培训课程是否有效地提高了参加者的知识。我们做了以下事情:

  1. 参加者将在培训前完成预测试(仅限真或假)
  2. 参加培训的人员
  3. 参加者将在培训后完成后测(仅限真或假)

前测和后测都有完全相同的问题,测试用条形码标记,以便我们能够追踪哪些前测和后测是一对。

通过进一步分解研究问题,可以分为两个部分:

1.培训是否普遍有效

2. 培训能否提高对特定问题(项目)的回答

对于问题1,我认为配对t检验比较合适:我们标记所有测试,每个参加者都会有一个前测和后测分数,我们分别取前测和后测分数的平均值,然后进行配对 t 检验。

对于第 2 题,起初我正在考虑做一个 McNemar 的测试:因为前测和后测中每个问题的答案都可以匹配。我打算做这样的事情但是后来我收到了一些替代方法,我不确定它是否合适:

  1. 统计前测中答对X题的参加者人数,除以答题X的参加者总数,即为百分比
  2. 在后测中做同样的事情,所以我们这里有两个百分比
  3. 对其执行“配对”t检验

当我第一次看到它时,我想知道如何“配对”每个问题,因为分类数据已经转换为连续数据。也许提议者不小心添加了“pair”这个词,他实际上只表示“t-test”。但我仍然想知道为什么要丢弃基于配对的信息。

这里有几个问题

  1. 对于问题 1,使用配对 t 检验是否合适?
  2. 对于问题 2,McNemar 的测试是否合适?
  3. 对于问题 2,“t 检验”是否仍然合适?有什么理由首选“t检验”吗?
1个回答
  1. 是的,对于研究问题 1 t 检验是合适的,前提是后分数减去前分数的差异约为正态分布;如果没有,请考虑使用 Wilcoxon 符号秩检验。
  2. 是的,对于研究问题 2,McNemar 是正确的选择。
  3. 不可以。T 检验不适用于申请比例。当他们这样做时,他们会在进行 t 检验之前应用Fisher 比例角变换;这通常被认为是过时的方法。另请注意,手中有这两个比例,您无法进行配对测试,这将是独立样本测试。