在样条回归中,基扩展创建秩亏设计矩阵的情况并不少见Bn×p,但众所周知,估计过程的惩罚解决了这个问题。我不知道如何表明惩罚意味着BTB+λΩ是肯定的。(我知道 PD 矩阵是可逆的。)
为了搭建舞台,我们寻求minα∈Rp∑i||yi−f(xi)||2+λ∫ba[f′′(t)]2dt为了f(x)由基扩展给出f(xi)=∑jαjhj(xi). 收集基向量B,我可以很容易地证明这种优化减少到
α^=(BTB+λΩ)−1BTy.
在哪里Ωij=∫bah′′j(t)h′′i(t)dt.
到目前为止,这是我的推理。我们知道B是等级不足的,因为p>n. 这意味着BTB也是等级不足的;我还可以证明至少一个特征值是 0 并且它是半正定的。
但现在我被困住了,因为我不知道如何推理Ω或表明BTB+λΩ是任何的 PDλ>0. 我知道Ω是一个格拉姆矩阵,但这只能让我们证明Ω是PSD。