我现在更好地理解了让我担心配对与非配对 t 检验以及相关 p 值的问题。发现是一段有趣的旅程,一路上有很多惊喜。对迈克尔的贡献进行的调查导致了一个惊喜。这在实际建议方面是无可指责的。此外,他说出了我认为几乎所有统计学家都相信的观点,并且他有几票支持这一点。然而,作为一个理论,它并不完全正确。我通过制定 p 值的公式发现了这一点,然后仔细思考如何使用这些公式得出反例。我是一个训练有素的数学家,反例是“数学家的反例”。这不是你在实际统计中会遇到的东西,当我问我最初的问题时,我试图找出这种事情。
这是给出反例的 R 代码:
vLength <- 10; meanDiff <-10^9; numSamples <- 3;
pv <- function(vLength,meanDiff) {
X <- rnorm(vLength)
Y <- X - meanDiff + rnorm(vLength,sd=0.0001)
Paired <- t.test(X,Y,var.equal=T,paired=T)
NotPaired <- t.test(X,Y,var.equal=T,paired=F)
c(Paired$p.value,NotPaired$p.value,cov(X,Y))
}
ans <- replicate(numSamples,pv(vLength,meanDiff))
请注意以下特征: X 和 Y 是两个 10 元组,它们的差异很大并且几乎是恒定的。对于许多有效数字而言,相关性为 1.000.... 未配对测试的 p 值比配对测试的 p 值小约 10^40 倍。所以这与迈克尔的描述相矛盾,前提是人们从字面上理解他的描述,数学家风格。我的回答与迈克尔的回答有关的部分到此结束。
以下是彼得的回答引发的想法。在讨论我最初的问题时,我在评论中推测,听起来不同的两个特定 p 值分布实际上是相同的。我现在可以证明这一点。更重要的是,证明揭示了 p 值的基本性质,如此基本以至于没有文本(我遇到过的)费心解释。也许所有的专业统计学家都知道这个秘密,但对我来说,p 值的定义总是显得奇怪和人为。在泄露统计学家的秘密之前,让我明确一下这个问题。
让并从某个正态分布中随机且独立地选择两个随机有两种方法可以从此选择中获得 p 值。一种是使用非配对t检验,另一种是使用配对t检验。我的猜想是,在这两种情况下,一个人得到的 p 值分布是相同的。当我第一次开始思考时,我认为这个猜想很鲁莽而且是错误的:非配对检验与个自由度的 t 统计量相关,配对检验与 t-对n>1n2(n−1)n−1自由程度。这两个分布是不同的,那么 p 值的相关分布到底怎么可能相同呢?深思熟虑后,我才意识到,这种对我猜想的明显驳斥过于轻率了。
答案来自以下考虑。假设是一个连续的 pdf(即它的积分值为 1)。坐标的变化将相关分布转换为上的均匀分布。公式是
,这在许多文本中都有解释。文本在 p 值的上下文中没有指出的是,这正是从 t 统计量中给出 p 值的公式,当f:(0,∞)→(0,∞)[0,1]
p=∫∞tf(s)ds
f是 t 分布的 pdf。(我试图使讨论尽可能简单,因为它确实很简单。更全面的讨论会稍微不同地对待单侧和双侧 t 检验,可能会出现 2 的因素,以及 t 统计量可能位于而不是。我省略了所有的混乱。)(−∞,∞)[0,∞)
当找到与统计中的任何其他标准分布相关的 p 值时,完全相同的讨论也适用。再一次,如果数据是随机分布的(这次根据一些不同的分布),那么得到的 p 值将均匀分布在中。[0,1]
这如何适用于我们的配对和非配对 t 检验?关键在于配对 t 检验,样本是独立随机选择的,就像我上面的代码一样,t 的值确实遵循 t 分布(具有个自由度)。因此,多次复制 X 和 Y 的选择所产生的 p 值遵循上的均匀分布。非配对 t 检验也是如此,尽管这次 t 分布具有个自由度。尽管如此,根据我上面给出的一般论点,得到上也有均匀分布。如果应用上面的 Peter 代码来确定 p 值,那么我们会得到两种不同的方法来从均匀分布中抽取随机样本n−1[0,1]2(n−1)[0,1][0,1]。然而,这两个答案并不独立。