关于线性问题正则化的建议

计算科学 线性代数 优化 线性求解器
2021-12-21 18:20:32

我正在使用scicomp 用户从早期问题中建议的方法对积分变换进行数值反转。问题如下:

我希望为给定的,这两者都表示为一组正交 basdis 函数的线性组合:f(x)F(y)ϕn

f(x)=iMciϕi(x)F(y)=jMbjϕj(y)

所需的系数由向量,可以通过求解线性线性系统得到:f(x)c

b=Ac

这种方法在一些理论测试用例中效果很好,但是当将其应用于实际数据时,我发现该系统的解决方案会产生一个,在高阶基函数中具有更大的功率。向确实有效的测试用例添加少量随机噪声也会产生不正确的振荡解决方案。f(x)

我知道以下关于的真正解决方案:f(x)

  • f(x)不是振荡的
  • f(x)具有平滑的衰减形式 - 通常类似于半柯西分布
  • f(x)处处为正(这是一个连续概率分布)

我已经围绕这个问题做了一些阅读,我认为我需要使用正则化来约束线性系统的解决方案,以便它产生正确的,但我已经看到有很多类型的正则化。f(x)

谁能给我建议哪些正则化方法是合适的以及如何应用它们?

感谢您的时间和帮助!

2个回答

因为您的基函数是正交多项式(并假设它们已正确归一化),因此,您可以在 2-范数中正则化线性方程组的解,并在 2-范数中有效地正则化f2=c2f

为此,只需最小化这可以设置为最小二乘问题Acb22+λc22

min[AλI]b[b0]22

这个阻尼最小二乘问题的正规方程给出了解决方案

c^=(ATA+λI)1ATb

尚未暗示这一点,您可以轻松地添加一个约束以强制积分为 1 。 fAc=b

然而,

您的问题的一个重要方面是本质上是非负的(在某些点上可能为 0,因此不一定处处为正。)不幸的是,您使用的正交基函数并非处处为负,并且没有合理的的正交多项式展开中的系数来强制解的非负性的方法ff

因此,您可能需要考虑摆脱正交多项式并根据允许您强制执行的非负性的基函数来解决问题。 f

您也可以考虑用 CDF 而不是概率分布的 pdf 来表达您的问题。

很困难的事实)。但是,如果您对知识进行编码,您可以使正则化更好地工作,您期望高振荡项很小,而低频项可能很大。λ

你这样做的方法是认识到当你解决 你基本上惩罚大系数换句话说,你正在做的是试图找到那些系数,以便,但也让小(并且这两项之间的平衡由给出)。但这不是您想要的,根据您的问题描述:您只希望高频项很小。因此,您可能希望最小化以下内容: 其中

minAcb22+λc22
cicAcb cλ
minAcb22+iλi|ci|2
λi增加序列,以便更高的系数受到更多的惩罚。选择什么形式是您需要根据您对系数大小的期望来决定的。一个例子可能是 λi
λi=λ¯i.

关于如何选择正则化以匹配我们期望的解决方案的外观,有一个通用理论。如果您想在这些问题上花费大量时间,我建议阅读 Tarantola(“逆问题理论”)或 Kaipio 和 Somersalo (“统计和计算逆问题”)的书籍。