“如果二阶导数严格大于0，则可以证明函数是严格凸的”

那是一维的。如果二阶导数矩阵是半正定的，则​​多元二次可微函数是凸的，因为这对应于任何方向上的方向导数都是非负的。如果二阶导数矩阵是正定的，则​​它是严格凸的。

如您所示，岭损失函数具有二阶导数$2\lambda I +2X^TX$，对于任何一个都是正定的$\lambda>0$因为

• $\lambda I$对任何都是正定的$\lambda>0$
• $X^TX$是半正定的$X$
• 正定矩阵和半正定矩阵之和是正定矩阵

如果您对其中任何一个都不确定并想更详细地检查，那么了解这一点很有用$A$是正定 iff$b^TAb>0$对于所有（非零）列向量$b$. 由于这种关系，许多正定性的矩阵证明只是来自用矩阵表示法编写正性的标量证明（包括非平凡的结果，如方差的克拉梅拉奥下限）

更少的证明，更多的令人信服的论据（可以引导您走向证明）：我们都同意具有满秩协方差矩阵的普通最小二乘法$X^TX$是严格凸的（参见Convexity of linear regression），岭回归是一种具有增强（虚拟）数据的 OLS 形式，因此它也是严格凸的。

增强$X\text{aug} = \left[ \begin{matrix}X^T & \sqrt\lambda\mathbb I \end{matrix}\right]^T$实际上确保，在山脊中，$X\text{aug}^TX\text{aug}$是满秩的，因为它由连接多个单位矩阵组成$\sqrt\lambda\mathbb I$.

所以，如果你能证明等价的 OLS 是严格凸的，那么岭回归也是如此。