协方差矩阵的度量:缺点和优点

机器算法验证 协方差 公制
2022-03-27 03:52:44

协方差矩阵的“最佳”指标是什么,为什么?我很清楚 Frobenius&c 是不合适的,角度参数化也有问题。直觉上,人们可能希望在这两者之间做出妥协,但我也想知道是否还有其他方面需要牢记,也许还有完善的标准。

常见的度量有各种缺点,因为它们对于协方差矩阵不是自然的,例如,它们通常不会特别惩罚非 PSD 矩阵或者在秩方面表现不佳(考虑两个旋转的低秩协方差椭圆体:我想要相同的- 对中间旋转进行排序,使其距离低于分量平均值,这不是的情况,也许是 Frobenius,请在此处纠正我)。此外,凸性并不总是得到保证。很高兴看到“好”指标解决了这些问题和其他问题。L1

是对一些问题的很好讨论,一个来自网络优化的例子一个来自计算机视觉的例子。这是一个类似的问题,得到了一些其他指标,但没有讨论。

2个回答

好吧,我认为没有一个好的指标或“最好的方法”来分析协方差矩阵。分析应始终与您的目标保持一致。假设 C 是我的协方差矩阵。对角线包含每个计算参数的方差。因此,如果您对参数的重要性感兴趣,那么 trace(C) 是一个好的开始,因为它是您的整体性能。

如果您绘制参数及其重要性,您可以看到如下内容:

x1 =  1.0 ±  0.1 
x2 = 10.0 ±  5.0
x3 =  5.0 ± 15.0 <-- non-significant parameter

如果您对它们的相互关联感兴趣,那么这样的表格可能会产生一些有趣的东西:

x1  1.0
x2  0.9  1.0
x3 -0.3 -0.1  1.0
    x1    x2   x3

每个元素是参数 xi 和 xj 之间的相关系数。从示例中可以看出参数 x1 和 x2 高度相关。

有趣的问题,我现在正在努力解决同样的问题!这取决于您如何定义“最佳”,即,您是在寻找点差的平均单个值,还是寻找数据之间的相关性等。我在Press, SJ (1972): Applied Multivariate Analysis, p. 中找到。108 广义方差(定义为协方差矩阵的行列式)可用作传播的单一度量。但如果你追求的是相关性,我需要进一步考虑。让我知道。