尽管有正态性假设,为什么排名的 Pearson 相关性仍然有效?

机器算法验证 相关性 正态假设 斯皮尔曼罗 排名
2022-03-04 14:17:24

我目前正在阅读有关 Pearson 相关性的假设。随后的 t 检验的一个重要假设似乎是两个变量都来自正态分布。如果他们不这样做,则提倡使用 Spearman rho 等替代措施。Spearman 相关性的计算类似于 Pearson 相关性,仅使用 X 和 Y 的等级而不是 X 和 Y 本身,对吗?

我的问题是:如果 Pearson 相关的输入变量需要正态分布,为什么即使输入变量是秩,Spearman 相关的计算仍然有效?我的排名当然不是来自正态分布...

到目前为止,我想出的唯一解释是 rho 的显着性可能与 Pearson 相关 t 检验的检验不同(以一种不需要正态性的方式),但到目前为止我还没有找到任何公式。但是,当我运行一些示例时,rho 的 p 值和秩的 Pearson 相关性的 t 检验始终匹配,除了最后几位数字。对我来说,这看起来不像是一个开创性的不同程序。

您可能有的任何解释和想法将不胜感激!

2个回答

计算 Pearson 相关性不需要正态性;只是关于相应人口数量的某些形式的推断是基于正常假设(CI 和假设检验)。

如果您没有正态性,则该特定推理形式的隐含属性将不成立。

在 Spearman 相关的情况下,您没有正态性,但这很好,因为 Spearman 相关性的推理计算(例如假设检验)不是基于正态性假设。

它们是基于连续双变量分布的一组配对秩而得出的;在这种情况下,假设检验使用基于等级的检验统计量的排列分布。

当使用 Pearson 相关进行推断的通常假设成立(二元正态性)时,Spearman 相关通常非常接近(尽管平均而言更接近 0)。

(因此,当您可以使用 Pearson 时,Spearman 通常会做得很好。如果除了某些其他过程(导致异常值)的污染之外,您几乎拥有二元正态数据,那么 Spearman 将是一种更可靠的方法来估计相关性未污染的分布。)

当我运行一些示例时,rho 的 p 值和排名的 Pearson 相关性的 t 检验总是匹配的,除了最后几位数字

那么你一直在运行错误的例子!

a = c(1,2,3,4,5,6,7,8,9)
b = c(1,2,3,4,5,6,7,8,90)
cor.test(a,b,method='pearson')

    Pearson's product-moment correlation

data:  a and b
t = 2.0528, df = 7, p-value = 0.0792
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
 -0.08621009  0.90762506
sample estimates:
      cor 
0.6130088 

cor.test(a,b,method='spearman')

    Spearman's rank correlation rho

data:  a and b
S = 0, p-value = 5.511e-06
alternative hypothesis: true rho is not equal to 0
sample estimates:
rho 
  1 

向量ab具有良好但远非完美的线性(皮尔逊)相关性。但是,它们具有完美的等级相关性。见 - 斯皮尔曼的ρ,在这种情况下,最后一个数字b是 8.1、9、90 还是 9000(试试看!)无关紧要,只有大于 8才重要。这就是关联排名的不同之处。

相反,虽然ab具有完美的秩相关,但它们的 Pearson 相关系数小于 1。这表明 Pearson 相关不反映秩。
Pearson 相关反映了一个线性函数,秩相关只是一个单调函数。在正常数据的情况下,两者将非常相似,我怀疑这就是为什么您的数据在 Spearman 和 Pearson 之间没有显示出很大差异的原因。

对于一个实际示例,请考虑以下内容;你想看看更高的人是否更重。是的,这是一个愚蠢的问题......但假设这是你关心的。现在,质量与体重并没有线性关系,因为高个子也比矮个子宽;所以体重不是身高的线性函数。比你高 10% 的人(平均而言)重 10% 以上。这就是为什么身体/质量指数在分母中使用立方体。
因此,您会假设线性相关性无法准确反映身高/体重关系。相反,在这种情况下,等级相关性对令人讨厌的物理和生物学定律不敏感;它并不能反映人们是否随着身高的增加而线性增长,它只是反映较高的人(在一个尺度上排名较高)是否更重(在另一个尺度上排名较高)。

一个更典型的例子可能是类似李克特的问卷排名,例如人们将某事评为“完美/好/体面/平庸/差/糟糕”。“完美”与“体面”之间的距离就像“体面”与“差”在量表上的差距一样,但我们真的可以说两者之间的距离是一样的吗?线性相关不一定合适。排名相关更自然。

为了更直接地解决您的问题:不, Pearson 和 Spearman 相关性的p值不能以不同的方式计算两者在概念上和数值上都有很大不同,但如果检验统计量相等,则p值将相等。

关于 Pearson 相关性假设的正态性问题,请参阅
更一般地说,其他人在参数与非参数相关性(另见此处)以及这对分布假设意味着什么的主题方面比我能详细说明的要好得多。