假设我们正在优化具有参数的模型，通过最小化某些标准受到参数向量大小的约束（例如，通过以下方式实现结构风险最小化方法构建一组越来越复杂的嵌套模型），我们需要解决：$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

这个问题的拉格朗日是（警告：我认为，这是漫长的一天...... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

因此很容易看出，正则化成本函数与约束优化问题密切相关，正则化参数与控制约束的常数 ( ) 有关，本质上是拉格朗日乘数。-项只是一个加法常数，因此如果省略它不会改变优化问题的解，只是目标函数的值。$\lambda$$C$$-\lambda C$

这说明了为什么例如岭回归实现结构风险最小化：正则化相当于对权重向量的大小施加约束，如果则可以在遵守以下约束的情况下制作每个模型$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

也将在约束下可用

$\|\vec{\theta}\|^2 < C_1$。

因此，减少会生成一系列复杂度增加的假设空间。$\lambda$