我正在尝试分析下表：
5 5 5 5 4 5 5 5 5
3 4 3 3 4 4 3 5 5
每个数字都是 5 次尝试的成功分数，因此我们可以假设二项式 (p, 5)，对于未知的 p。每列与一个人有关。底行包含“前”测试结果，顶行是“后”测试结果。
乍一看，顶行中的每个项目至少与底行中的相应项目一样大，因此通过快速符号检验，前后存在差异的假设应该是显着的。
如果我对这些数据进行配对 t 检验（捂住鼻子，因为每个项目都是二项式 (p,5)），我会得到一个显着的结果。如果我将数据放入一个 2 x 2 列联表（前 x 对错）并忽略匹配，我会得到一个显着的结果。
但是当我对上表进行权变测试时，测试以边缘为条件的独立性，结果不显着（p = 0.97）。我在 R 中使用了 Fisher.test，Fisher 精确测试。
那么，在考虑匹配的情况下，检验前后存在显着差异的假设的最佳方法是什么？为什么独立性分析在这里不适用？
我建议您使用广义估计方程（GEE）。这类似于重复测量方差分析，但允许非连续或非正态响应，因为作为广义线性模型，它采用各种链接函数。
在您的示例中，我将使用带有 logit 链接的二项式分布（尽管您可能更喜欢概率）。输入数据从“宽”重组为“长”，如下所示：
id pre_post count
1 1 5
2 1 5
3 1 5
4 1 5
5 1 4
6 1 5
7 1 5
8 1 5
9 1 5
1 2 3
2 2 4
3 2 3
4 2 3
5 2 4
6 2 4
7 2 3
8 2 5
9 2 5
DV 是计数，即受访者在 5 次尝试中得分多少。pre_post 是您要比较的重复测量因子水平。Id 是受访者。我将使用SPSS对其进行分析；命令如下。
GENLIN count /*response variable: score
OF 5 /*out of 5 trials
BY pre_post
/MODEL pre_post INTERCEPT=YES /*the only factor to test is pre_post
DISTRIBUTION=BINOMIAL LINK=LOGIT
/REPEATED SUBJECT=id WITHINSUBJECT=pre_post /*id is respondent id, pre_post is the repeated measures factor
CORRTYPE=INDEPENDENT ADJUSTCORR=YES /*we'll assume Independent correlation structure.
以下是结果的摘录：
您会看到前后之间的显着差异。通常的 RM ANOVA（配对样本 t 检验）给出了接近的显着性，0.007。
我认为费舍尔精确测试在这里不合适，是吗？
据说前测有34个点以这种方式排列（343344355），后测有44个点。这 44 个点的排列与预测试中建立的模式（边际）一致。这也意味着每个配对看起来都相似（测试的行部分） - 人们通常在第二次测试中表现更好相同的数量。
Fisher 测试不测试行是否相等，只是测试它们独立于列。您想回答“人们在后测中做得更好”的问题，但费舍尔测试是在问“所有人在后测中都以同样的方式做得更好”的问题。
我认为符号测试在这里非常合适，我刚刚看到@ttnphns 的答案特别好。
另一种选择是运行二项式混合模型。您需要像这样对数据进行编码：
result id time
0 1 pre
0 1 pre
1 1 pre
1 1 pre
1 1 pre
1 1 post
1 1 post
1 1 post
1 1 post
1 1 post
使用 R 包 lme4 你可以运行模型
lmer(result ~ timepoint + (1|id), family = "binomial")
但是对于这样的结果，我怀疑任何方法都会产生显着的结果，并且如果您使用具有良好理论背景的方法并且您感到舒适并产生您想要的答案，那么它会非常方便。
如果您只想显示改进，符号测试绝对足够且合适，但是当您还想量化个体之间的改进和变化时，您开始需要更复杂的模型。