两个协方差矩阵之间的相似性或距离的度量

机器算法验证 分布 假设检验 协方差矩阵 kullback-leibler 信息论
2022-01-27 18:42:44

两个对称协方差矩阵(都具有相同的维度)之间是否有任何相似性或距离的度量?

我在这里考虑的是类似于两个概率分布的 KL 散度或向量之间的欧几里得距离,除了应用于矩阵。我想会有很多相似性测量。

理想情况下,我还想测试两个协方差矩阵相同的零假设。

4个回答

您可以使用任何规范ABp(参见维基百科的各种规范;请注意,距离平方和的平方根,i,j(aijbij)2,称为 Frobenius 范数,不同于L2范数,它是最大特征值的平方根(AB)2,尽管它们当然会生成相同的拓扑)。具有相同均值(例如零)和两个特定协方差矩阵的两个正态分布之间的 KL 距离也可在Wikipedia中获得为12[tr(A1B)ln(|B|/|A|)].

编辑:如果其中一个矩阵是模型隐含矩阵,另一个是样本协方差矩阵,那么您当然可以在两者之间形成似然比检验。Rencher (2002) Methods of Multivariate Analysis中给出了我个人最喜欢的简单结构测试集合协方差结构建模涵盖了更高级的案例,其中一个合理的起点是Bollen (1989) Structural Equations with Latent Variables

Herdin (2005) Correlation Matrix Distance引入的一种度量,一种用于评估非平稳 MIMO 信道的有意义的度量 其中范数是 Frobenius 范数。

d=1tr(R1R2)R1R2,

表示你的矩阵都是维度Σ1Σ2p

  1. 条件数: 其中 (的最大(最小)特征值,其中定义为: log(λ1)log(λp)λ1λpΣΣΣ:=Σ11/2Σ2Σ11/2

编辑:我编辑了两个提案中的第二个。我想我误解了这个问题。基于条件数的建议在稳健统计中被大量用于评估拟合质量。我可以找到的一个旧来源是:

Yohai,VJ 和 Maronna,RA(1990 年)。稳健协方差的最大偏差。统计通讯——理论与方法,19, 3925–2933。

我最初包含了 Det 比率度量:

  1. 检测比: 其中 .log(det(Σ)/det(Σ2)det(Σ1))Σ=(Σ1+Σ2)/2

这将是具有相同位置向量的两个高斯分布之间的Bhattacharyya 距离。我最初一定是把这个问题读成与两个协方差来自假设具有相等平均值的总体样本的设置有关。

协方差矩阵距离用于在计算机视觉中跟踪对象。

Förstner 和 Moonen的文章中描述了当前使用的度量:“协方差矩阵的度量” 。