为什么L 2L2如果样本数,损失是严格凸的ñN大于输入维度dd?

数据挖掘 线性回归 损失函数
2022-03-06 17:51:04

我在用L2我的线性回归问题的损失,我必须证明我的L2如果样本数,损失是严格凸的N大于输入维度d.

我想,如果我能证明我的黑森矩阵,XTX为了L2损失是肯定的,那么就可以了。这里,X是特征矩阵 N样本作为行和 d列。

还有,我明白vTXTXv 0,

作为, vTXTXv=(Xv)T.Xv=||X.v||22(这是欧几里得范数X.v) 即 hessian 矩阵是半正定的。

但我不明白如何证明XTX是正定的或L2损失是严格凸的。

- 请忽略中的常量L2损失。

1个回答

我认为线性独立输入的额外假设对于具有严格凸损失函数是必要的。线性独立与N>d给你Xv0 v0,这意味着XX是正定的,如||Xv||2>0.