为什么默认矩阵范数是谱范数而不是 Frobenius 范数?

机器算法验证 矩阵 线性代数
2022-01-28 14:58:23

对于向量范数,L2范数或“欧几里得距离”是广泛使用且直观的定义。但是为什么矩阵的“最常用”或“默认”范数定义是谱范数,而不是 Frobenius 范数(类似于向量的 L2 范数)?

这是否与迭代算法/矩阵幂有关(如果光谱半径小于 1,则算法将收敛)?


  1. 像“最常用”、“默认”这样的词总是有争议的。上面提到的“默认”一词来自Matlabfunction中的默认返回类型normR矩阵的默认范数是 L1 范数两者对我来说都是“不自然的”(对于矩阵,这样做似乎更“自然”i,jai,j2就像在向量中一样)。(感谢@usεr11852 和@whuber 的评论,对造成的混乱表示抱歉。)

  2. 可能是扩展矩阵范数的用法会帮助我理解更多吗?

3个回答

一般来说,我不确定光谱范数是最广泛使用的。例如,Frobenius 范数用于逼近非负矩阵分解相关/协方差矩阵正则化的解。我认为这个问题的一部分源于某些人(包括我自己)在将Frobenius norm称为Euclidean matrix norm时所做的术语轻罪。我们不应该因为实际上矩阵范数(即谱范数)是在使用向量范数时被引入矩阵的范数。Frobenius 范数是元素方面的:,而L2L2||A||F=i,jai,j2L2矩阵范数()基于奇异值,因此它更“通用”。(为了更好的术语?)矩阵范数是欧几里德类型范数,因为它是由欧几里德向量范数诱导的,其中因此它是矩阵的诱导范数,因为它是向量范数诱导的,在这种情况下||A||2=λmax(ATA))L2||A||2=max||x||2=1||Ax||2L2

可能MATLAB 旨在在使用命令时默认范数;因此,它提供了欧几里得向量范数,但也提供了矩阵范数,即。谱矩阵范数(而不是错误引用的“ Frobenius /Euclidean matrix norm ”)。最后让我注意,默认规范在某种程度上是一个见仁见智的问题:例如,JE Gentle 的“矩阵代数 - 统计中的理论、计算和应用”字面上有一章 (3.9.2) 名为:“ The Frobenius规范 - “通常”的规范L2normL2“;很明显,光谱规范并不是所有各方考虑的默认规范!:) 正如@amoeba 评论的那样,不同的社区可能有不同的术语约定。不用说,我认为 Gentle 的书是关于Lin. 代数在统计学中的应用,我会提示您进一步研究!

部分答案可能与数值计算有关。

当您以有限精度求解系统 时,您不会得到该问题的确切答案。由于有限算术的约束,你得到一个近似值在某种适当的意义上。那么,您的解决方案代表什么?嗯,它很可能是其他一些系统的精确解,例如 因此,具有实用性,波浪号系统必须接近原始系统: 如果你的算法

Ax=b
x~Ax~b
A~x~=b~
x~
A~A,b~b
求解原系统满足该性质,则称为后向稳定 ,有多大的差异最终会导致边界错误,表示为,. 对于某些分析,范数(最大列和)是最容易通过的,对于其他分析,范数(最大行和)是最容易通过的(对于线性系统情况下的解的组件,例如),对于其他一些,光谱范数是最合适的(由传统的A~Ab~bA~Ab~bl1ll2l2向量范数,正如另一个答案中指出的那样)。对于对称 psd 矩阵求逆中的统计计算工作马,Cholesky 分解(琐事:第一个声音是希腊字母“chi”中的 [x],而不是“chase”中的 [tʃ]),最方便的规范跟踪误差范围是范数……尽管 Frobenius 范数也会出现在某些结果中,例如在分区矩阵求逆中。l2

这个问题的答案取决于你所在的领域。如果你是一名数学家,那么有限维中的所有范数都是等价的:对于任何两个范数有存在常量,它仅取决于维度(和 a,b),使得:ab C1,C2

C1xbxaC2xb.

这意味着有限维度的规范非常无聊,除了它们的缩放方式之外,它们之间基本上没有区别。这通常意味着您可以为要解决的问题选择最方便的规范通常,您想回答诸如“此运算符或过程是否有界”或“此数值过程是否收敛”之类的问题。有了有界性,你通常只关心某事是有限的。通过收敛,通过牺牲收敛速度,您可以选择使用更方便的规范。

例如,在数值线性代数中,有时首选 Frobenius 范数,因为它比欧几里得范数更容易计算,而且它自然地与更广泛的Hilbert Schmidt 算子相关联。此外,就像欧几里得范数一样,它是次乘的:,不像说,最大范数,所以它可以让你轻松地谈论运算符乘法在任何您正在工作的空间。人们往往非常喜欢范数和 Frobenius 范数,因为它们与矩阵的特征值和奇异值都有自然关系,并且具有可乘性。ABFAFBFp=2

出于实际目的,规范之间的差异变得更加明显,因为我们生活在一个维度的世界中,并且某个数量有多大以及如何测量它通常很重要。上面的那些常数相比多少或多或少变得很重要C1,C2xaxb