线性系统的等价性,解决一个而不是另一个

计算科学 线性代数 矩阵 线性求解器
2021-12-17 05:39:43

这个问题与最近发布的问题有关,但我想它值得单独关注。

假设一个对称矩阵LRn×n给定一个矩形矩阵ARn×m,m<n. 系统解决方案

(1)LAx=b,
被寻找,因为已知bRn和未知的xRm. 自从LARn×m, 一个解法x应该以最小二乘的方式计算。现在,假设将上述系统预乘为AT, IE,
(2)ATLAx=ATb

是否可以通过解决(2)代替解决(1),反之亦然?为什么不能用解决(1)代替解决(2)?如果 (1) 的解存在,那么它也是 (2) 的解。会不会是 (1) 的解不存在(即,仅在 LS 意义上存在),但 (2) 的精确解存在?

3个回答

奇怪的是,这种情况可能出现在正交模型缩减方法中。在那种情况下,A是单一的,因此,A可以解释用于模型简化的基组,并且AT是一个伪逆(准确地说,一个{1,2}-逆,用广义逆的语言)A.

正如 Arnold Neumaier 所指出的,这两组解决方案通常是不一样的。如果xRm是(1)的解,那么它也将是(2)的解。但是,在一般情况下,该陈述的反面是不正确的。

然而,对于A正的,这样的转换可能非常有用。假设你想解决

(0)Ly=b,

但无论出于何种原因(例如,内存、CPU 时间),使用标准的密集或稀疏(直接或迭代)线性代数方法求解该方程是不切实际的。一种方法是假设yRn是一组正交基向量的线性组合ARn. 换句话说,假设y=Ax, 代替yAx这样你就可以解决xRm,它的优点是可以解决更少的未知数。所以现在你有

(1)LAx=b,

如等式(1),但该系统是非方形的,并且是欠定的。它可能没有解决方案,因为b可能不在范围内A. 模型简化文献中为获得平方系统所做的一个经典假设是假设数量LAxb(您可以将其视为值的残差x代入等式(1))是正交的每一列A, 在这种情况下,AT(LAxb)=0要么

(2)ATLAx=ATb.

这个假设可能是也可能不是一个好的假设。如果解决方案y到 (0) 的范围为A, 那么求解 (2) 不会在 (0) 的计算解中引入任何近似误差。与直接求解 (2) 相比,求解 (0) 可以节省大量计算量,前提是m足够小(有两个矩阵乘法的开销来节省线性求解)。

但是,如果 (0) 的解不在A,那么求解 (2) 而不是 (0) 只会产生 (0) 的解的近似值,并且与这种近似值相关的误差可能很大。对于许多实际应用程序来说,近似解是可以接受的(例如,问题参数可能只知道有限的精度)。

如果A不是单一的,所有的赌注都是关闭的。模型简化解释不再成立,尽管如果x是(1)的解,也是(2)的解。可以将模型缩减论点概括为一般A, 但是之后AT通常在该参数中被另一个矩阵替换,因此与上述问题的类比不再成立。

在打扰其他人之前,您会先查看您陈述的简单案例。矩阵:2×1

如果,(1) 没有解,但 (2) 有无穷多个。A=0b0

假设rank(A)=m

如果正定的,则 (1)的最小二乘解,前提是残差在范数中最小化 : LATLAx=ATbLAx=br=LAxbr2=rTL1r

minxLAxb2=minx(LAxb)TL1(LAxb)ATLAx=ATb

如果不定,则(2) 和 (1) 的解之间不存在简单的一般关系。L