机器算法验证 - L2范数正则化线性回归（不是岭回归）是否有封闭形式的解决方案 - 吾爱随笔录

机器算法验证回归正则化

2022-03-18 16:21:02

考虑惩罚线性回归问题：没有平方根这个问题变成岭回归。请注意，这不是LASSO 问题，可以表示为：当所有系数都在一个组内时，这也是组 LASSO 的一种特殊情况这个问题有封闭形式的解决方案吗？

{minimize}_{β} (y - X β)^{T} (y - X β) + λ \sqrt{\sum β_{i}^{2}}

$\text{minimize}_\beta \,\,(y-X\beta)^T(y-X\beta)+\lambda \sqrt{\sum \beta_i^2}$

{minimize}_{β} (y - X β)^{T} (y - X β) + λ \sum \sqrt{β_{i}^{2}}

$\text{minimize}_\beta \,\,(y-X\beta)^T(y-X\beta)+\lambda \sum \sqrt{ \beta_i^2}$

1个回答

您将获得岭回归解决方案，但在惩罚参数方面参数化不同。这更普遍地适用于凸损失函数。 $\lambda$

如果的可微函数，令表示严格凸函数的唯一极小值对于。此外，让。 $L$ $\beta$ $\beta(\lambda)$

h (β) = L (β) + λ ‖ β ‖_{2}^{2}

$h(\beta) = L(\beta) + \lambda \|\beta\|_2^2$

λ > 0

$\lambda > 0$

s (λ) = ‖ β (λ) ‖_{2}

$s(\lambda) = \|\beta(\lambda)\|_2$

现在考虑函数它的雅可比是如果我们插入我们发现因为的驻点。由于仍然是凸的，这表明是的全局最小化器。

g (β) = L (β) + 2 λ s (λ) ‖ β ‖_{2} .

$g(\beta) = L(\beta) + 2 \lambda s(\lambda) \|\beta\|_2.$

D g (β) = D L (β) + 2 λ s (λ) \frac{β}{‖ β ‖_{2}} .

$Dg(\beta) = DL(\beta) + 2 \lambda s(\lambda) \frac{\beta}{\|\beta\|_2}.$

β (λ)

$\beta(\lambda)$

D g (β (λ)) = D L (β (λ)) + 2 λ β (λ) = D h (β (λ) = 0,

$Dg(\beta(\lambda)) = DL(\beta(\lambda)) + 2 \lambda \beta(\lambda) = Dh(\beta(\lambda) = 0,$

β (λ)

$\beta(\lambda)$

h

$h$

g

$g$

β (λ)

$\beta(\lambda)$

g

$g$

其它你可能感兴趣的问题