为什么是乙吨B + λ ΩBTB+λΩ肯定的?

机器算法验证 自习 线性代数 样条
2022-04-07 00:32:21

在样条回归中,基扩展创建秩亏设计矩阵的情况并不少见Bn×p,但众所周知,估计过程的惩罚解决了这个问题。我不知道如何表明惩罚意味着BTB+λΩ是肯定的。(我知道 PD 矩阵是可逆的。)

为了搭建舞台,我们寻求minαRpi||yif(xi)||2+λab[f(t)]2dt为了f(x)由基扩展给出f(xi)=jαjhj(xi). 收集基向量B,我可以很容易地证明这种优化减少到

α^=(BTB+λΩ)1BTy.

在哪里Ωij=abhj(t)hi(t)dt.

到目前为止,这是我的推理。我们知道B是等级不足的,因为p>n. 这意味着BTB也是等级不足的;我还可以证明至少一个特征值是 0 并且它是半正定的。

但现在我被困住了,因为我不知道如何推理Ω或表明BTB+λΩ是任何的 PDλ>0. 我知道Ω是一个格拉姆矩阵,但这只能让我们证明Ω是PSD。

1个回答

表明BTB+λΩPD是否等于表明Ω是PD。(感谢 Matthew Gunn 在评论中指出这一点。)

这是因为BTB是,在这种情况下p>n,秩不足,因此 PSD。这是因为二次型aTBTBa0a{Rn0}因为我们可以将其重写为||Ba||220因为任何实数的平方都是非负的。所以我们有aT(BTB+Ω)a=aTBTBa+aTΩa>0因为如果Ω是 PD,那么aTΩa>0, 数量aTBTBa+aTΩa是一个非负数和一个正数之和,它必须是正数。所以BTB+Ω只要是 PDΩ是PD。

所以我们需要推理Ω. 它符合 Gram 矩阵的定义,因为它是由函数的标准内积给出的(在问题中有规定)。基函数是线性独立的(因为它们构成了一个基),因此Ω是PD。

Ω如果其列是独立的,则为 PD。我们可以写Ω=ATA.如果向量A是线性相关的,那么我们有Ωa=ATAa=AT0=0对于一些a0因为Aa=0根据线性相关性的定义,以及|Ω|=|ATA|=|A|2=0由行列式的性质。

很容易证明这对任何人都是正确的λ>0; 所有相同的论点都适用,因为正数在乘法下是闭合的。