我有两组的数据，我正在调查两组在一项任务上的表现是否不同。我有 95% 的 CI 是通过自举计算得出的，这些 CI 为每组的平均点估计值提供了下限和上限。
我做了一个比较平均值的 t 检验，它表明平均值之间的差异是显着的，表明有效果。
我在解释 CI 和 sig 的含义时遇到了麻烦。测试。例如，CI 确实有一定程度的重叠。因此，我解释说，这些群体可能具有相似的意味着人口水平和可能无法观察到的显着差异。
这个对吗？
我还想知道在报告中将显着性检验和 CI 作为补充报告的最佳方式。即使 CI 表明存在一定程度的重叠，是否可以将显着差异视为重要的讨论？
这是一个小 R 模拟来演示这个想法。
首先让我们为两组创建一些数据，每组 n=100，取自群体之间的平均差异为 d=.35
> set.seed(4444)
> n <- 100
> g1 <- rnorm(n, mean = 0, sd = 1)
> g2 <- rnorm(n, mean = 0.35, sd = 1)
我们可以快速查看组均值和组均值之间的差异。
> # Group means
> round(mean(g1), 2)
[1] 0.11
> round(mean(g2), 2)
[1] 0.46
> round(mean(g2) - mean(g1), 2)
[1] 0.35
然后，我们可以查看各个组均值的置信区间。
> round(as.numeric(t.test(g1, conf.level=.95)$conf.int), 2)
[1] -0.10 0.31
> round(as.numeric(t.test(g2, conf.level=.95)$conf.int), 2)
[1] 0.26 0.66
查看组均值如何具有重叠的置信区间（即 0.31 大于 0.26）。但是，我们可以查看感兴趣的置信区间；即组均值之差的置信区间。
> round(as.numeric(t.test(g2, g1, conf.level=.95)$conf.int), 2)
[1] 0.07 0.64
它不包括零。
我们现在可以在 t 检验中查看组均值之间的差异，并看到 p 值小于 0.05，这与组均值之间差异的置信区间一致。
> t.test(g2, g1)
Welch Two Sample t-test
data: g2 and g1
t = 2.4506, df = 197.308, p-value = 0.01513
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
0.06897783 0.63745786
sample estimates:
mean of x mean of y
0.4588689 0.1056511
当 t 检验在 0.05 处显着时（它们通常在 p < 0.01 之前不会分开），您的个人组周围的 95%CI 意味着（我假设它是一个独立的组设计）将重叠。均值之间所需的最小距离为 1 CI bar x sqrt(2) 的大小。如果您计算平均值之间的差异（许多 t 检验报告）的 CI，您会发现它大约是您的原始 CI x sqrt(2)。这是解释这些 CI 的一种已知方法，如果您愿意，您可以在图形标题中包含一些内容。
要理解这一点，您可能会记得 t 检验的分母有一个 MSE 的 2 倍乘数。这是因为均值之差的方差是均值方差的两倍。标准差是方差的平方。用于检验差异的标准误差是抽样均值分布的标准差。因此，个体平均标准误差和效果标准误差之间的差异因素是 sqrt(2)。
所以，这就是理解为什么它们可以重叠并且仍然显着不同的方式。不过，看在上帝的份上，如果您发现这令人困惑，请不要转向标准错误，因为它们的推理解释更不一致，它依赖于 N。
呈现数据的最佳方式是使用方法和效果的置信区间。这使您的数据易于为联合解释，您甚至可以将 t 检验排除在外。这些置信区间中的每一个都应在您的文本中解释为包括您认为可能的均值和效果值。您认为不太可能的这些值之外的值。如果 0 在您的效果 CI 之外，那么您会断定您有显着效果。但是 CI 比仅仅得出结论意义更有意义，因为您也在就影响的真实幅度的可能位置做出陈述。