如何比较两个 Spearman 相关矩阵?

机器算法验证 假设检验 相关性 多重比较 斯皮尔曼罗
2022-01-25 06:20:18

我有两个非参数秩相关矩阵empsim (例如,基于斯皮尔曼的秩相关系数):ρ

library(fungible)
emp <- matrix(c(
1.0000000, 0.7771328, 0.6800540, 0.2741636,
0.7771328, 1.0000000, 0.5818167, 0.2933432,
0.6800540, 0.5818167, 1.0000000, 0.3432396,
0.2741636, 0.2933432, 0.3432396, 1.0000000), 4, 4)

# generate a sample correlation from population 'emp' with n = 25
sim <- corSample(emp, n = 25)
sim$cor.sample

          [,1]      [,2]      [,3]      [,4]
[1,] 1.0000000 0.7221496 0.7066588 0.5093882
[2,] 0.7221496 1.0000000 0.6540674 0.5010190
[3,] 0.7066588 0.6540674 1.0000000 0.5797248
[4,] 0.5093882 0.5010190 0.5797248 1.0000000

emp矩阵是包含经验值(时间序列)之间相关性的相关矩阵,矩阵sim是相关矩阵 - 模拟值。

我已阅读问答如何比较两个或多个相关矩阵?,在我的情况下,我们知道经验值不是来自正态分布,我不能使用Box's M test

我需要测试原假设:矩阵 来自相同的分布。H0empsim

问题。我可以使用什么测试?是否可以使用Wishart 统计

编辑。 按照Stephan Kolassa的评论,我做了一个模拟。

我试图比较两个 Spearman 相关矩阵empsimBox 的 M 检验。测试已返回

# Chi-squared statistic = 2.6163, p-value = 0.9891

然后我模拟了 1000 倍的相关矩阵sim并绘制了卡方统计量的分布。M(1c)χ2(df)

在此处输入图像描述

之后,我定义了卡方统计量的 5% 分位数。定义的 5% 分位数等于M(1c)χ2(df)

quantile(dfr$stat, probs = 0.05)
#       5% 
# 1.505046

可以看出,5% 的分位数小于得到的卡方统计量:(1.505046 < 2.6163图中蓝线),因此,myemp的统计量不会落在M(1c)(M(1c))i

编辑 2. 按照Stephan Kolassa的第二条评论,我计算了卡方统计量的 95-% 分位数(图中的蓝线)。定义的 95% 分位数等于M(1c)χ2(df)

quantile(dfr$stat, probs = 0.95)
#      95% 
# 7.362071

可以看到emp的统计量没有落在的右尾。M(1c)(M(1c))i

编辑 3.我通过经验累积分布函数计算了准确的值(图中的绿线):p

ecdf(dfr$stat)(2.6163)
[1] 0.239

可以看到 -value=0.239 大于p0.05

参考

Reza Modarres & Robert W. Jernigan (1993) A robust test for comparison correlation matrices , Journal of Statistical Computation and Simulation, 46:3-4, 169-181。第一篇没有关于正态分布假设的论文。提出了两种不同的测试。二次形式测试是更简单的一种。

Dominik Wied (2014): A Nonparametric Test for a Constant Correlation Matrix, Econometric Reviews, DOI: 10.1080/07474938.2014.998152 作者提出了一种非参数程序来测试未知时间点相关矩阵的变化。

Joël Bun、Jean-Philippe Bouchaud 和 Mark Potters(2016 年),清洁相关矩阵,Risk.net,2016 年 4 月

Li, David X.,关于默认相关性:Copula 函数方法(1999 年 9 月)。可在 SSRN 获得:https ://ssrn.com/abstract=187289或http://dx.doi.org/10.2139/ssrn.187289

GEP Box,一类似然准则的一般分布理论生物计量学。卷。36, No. 3/4(1949 年 12 月),第 317-346 页

MS Bartlett,充分性和统计检验的性质过程。R. Soc。伦敦。1937 年 160、268-282

Robert I. Jennrich (1970): An Asymptotic χ2 Test for the Equality of Two Correlation Matrices , 美国统计协会杂志, 65:330, 904-912。

Kinley Larntz 和 Michael D. Perlman (1985) A Simple Test for the Equality of Correlation Matrices第 63 号技术报告。

Arjun K. Gupta、Bruce E. Johnson、Daya K. Nagar(2013 年)测试多个相关矩阵的相等性Revista Colombiana de Estadística Diciembre 36(2), 237-258

Elisa Sheng、Daniela Witten、Xiao-Hua Zhou (2016)差异相关特征的假设检验生物统计学,17(4),677-691

James H. Steiger (2003)比较相关性:独立样本之间和/或内部的模式假设检验


这不是答案。

我模拟n=1000了相关矩阵的时间sim,计算了统计量 ,并绘制了卡方统计分布(左)和累积分布函数(右)。M(1c)ii=1,2,...,n

在此处输入图像描述

原假设:矩阵来自同一分布。H0empsim

备择假设:矩阵不是来自同一分布。H1empsim

有一个双尾检验临界值是:α=5%

alpha <- 0.05
q025  <- quantile(x, probs =     alpha/2);q025
#    2.5% 
# 1.222084 
q975  <- quantile(x, probs = 1 - alpha/2);q975
#   97.5% 
# 8.170121 

从计算可以看出:1.222084 < M(1-c)= 2.6163 < 8.170121,因此,为真。H0

反例。xx分布中模拟了一个样本,并找到了样本特征:χ2(df)

m  <- 2                # number of matrices
k  <- 4                # size of matrices
df <- k*(k+1)*(m-1)/2  # degree of freedom    
xx <- rchisq(1000, df=df)

Mode <- function(x) {
  ux <- unique(x)
  ux[which.max(tabulate(match(x, ux)))]
}

Mode(xx) 
# [1] 5.845786
mean(xx)
# [1] 10.1366808
quantile(xx, probs =     alpha/2)
#    2.5% 
# 3.057377 
quantile(xx, probs = 1 - alpha/2)
#   97.5% 
# 19.91842    

样本的均值10.1366808落入统计M(c-1)分布的左尾,因此,不成立。H0

但是样本的模式5.845786未能进入中间范围。

1个回答

由于我们正在使用从同一组秩构造的矩阵来构造相应的 Spearman 相关矩阵,因此这项工作中提出的 2012 年简单方法:用于比较协方差矩阵的简单程序可能是有价值的。

特别引用:

在这里,我提出了一种新的、简单的方法来在两个总体样本中进行这种比较,该方法基于将每个样本中由其自己的协方差矩阵的特征向量解释的方差与由另一个样本的协方差矩阵特征向量解释的方差进行比较。这个过程的基本原理是两个相似样本的矩阵特征向量将解释两个样本中相似的方差量。我使用计算机模拟和来自海洋蜗牛混合区中两个形态的形态协方差矩阵来展示如何使用所提出的程序来测量矩阵方向和形状对整体差异的贡献。

特别重要的是声称的结果和结论:

结果 我展示了这个程序如何检测到用中等大小的样本计算的矩阵之间的微小差异,以及它如何用作对这些差异的性质进行更详细分析的基础。

结论 新程序构成了协方差矩阵比较的有用资源。它可以填补程序之间的差距,导致单一的整体差异测量,以及基于多模型比较的分析方法不提供这种测量。

以及来自可用全文的进一步评论:

在目前的工作中,我提出了一种新的、简单且无分布的程序来探索协方差矩阵之间的差异,除了提供单一且连续变化的矩阵微分度量外,还可以根据矩阵取向和形状差异的贡献。我使用计算机模拟和对应于蜗牛形态测量的 P 矩阵来将此过程与一些广泛使用的替代方法进行比较。我证明了新程序与更简单的方法相比具有相似或更好的能力,以及如何将其用作对所发现差异的性质进行更详细分析的基础。

如果其他方法证明不那么令人印象深刻,您可以进一步研究上述方法,以比较执行您自己的模拟测试的秩相关矩阵。