所有参与者都回答了两个问题。一个问题的回答正确率为 85%，另一个问题的回答正确率为 65%。我感兴趣的是第一个问题的正确答案比例是否明显大于第二个问题。

那将是一个配对测试。

为什么在这种情况下使用二比例 z 检验是错误的？

因为独立样本比例检验依赖于……独立性。具体来说，在零假设下的检验统计量的（正态近似）分布是在观测值独立的基础上计算的。

它是否也取决于一个人想用统计测试回答的问题？

不，至少对于我遇到的任何问题都没有。

尽管如此，使用该程序的后果是什么（例如，显着性值是否会系统性地过高或过低）？

如果您使用成对的样本（并且在成对中正相关）进行此操作，如您的示例所示，那么比例差异的方差将与独立性假设所暗示的不同。

结果，您的真实显着性水平将比您选择的要大，因此您会比您应该更频繁地拒绝（更频繁地）。

下面是模拟的结果，首先当两列独立时，其次当变量相关时（为了获得相关的二元变量，我生成了相关的标准法线$\rho=0.6$并通过记录将它们二分法$1$如果它们小于 0.1**；自变量的创建方式相同，但来自独立法线）。

** 我选择了一个$p$这不完全是 1/2，以防万一有人认为$p$=1/2 可能是一个特例

这些是 n=100 的 10000 次模拟，用于双尾两个样本比例检验（这里通过卡方使用 R 的默认设置完成；卡方应该是使用相同设置完成的 z 检验的平方）。检验统计量的真实分布是离散的，卡方（和相应的 z 检验）是近似的。左侧图中的小峰值是由于这种离散性（并导致具有独立比例的测试中的轻度保守主义）；理想情况下，它应该看起来一致。在右侧图中，使用了相关的二进制文件（如上所述）。在那里，大约 98% 的生成表的 p 值 <0.05。这是原假设为真的时候。

少量的影响可能是可以容忍的，但这是相当戏剧性的。