机器算法验证 - Elastic Net 公式之间的等效性 - 吾爱随笔录

根据 Hastie 的论文，弹性网有两个等效的公式：

\hat{β} = \underset{β}{argmin} {\sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} x_{i j} β_{j})}^{2} + λ_{1} \sum_{j = 1}^{p} | β_{j} | + λ_{2} \sum_{j = 1}^{p} β_{j}^{2}}

$\hat{\beta} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N\left(y_i-\sum_{j=1}^p x_{ij} \beta_j\right)^2 + \lambda_1 \sum_{j=1}^p |\beta_j|+ \lambda_2 \sum_{j=1}^p \beta_j^2 \right\}$

和

\hat{β} = \underset{β}{argmin} {\sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} x_{i j} β_{j})}^{2}} s.t. (1 - α) \sum_{j = 1}^{p} | β_{j} | + α \sum_{j = 1}^{p} β_{j}^{2} \leq t

$\hat{\beta} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N\left(y_i - \sum_{j=1}^p x_{ij} \beta_j\right)^2\right\} \;\text{ s.t. } \;(1-\alpha)\sum_{j=1}^p |\beta_j| + \alpha\sum_{j=1}^p \beta_j^2 \leq t$

在哪里 $\alpha = \frac{\lambda_2}{\lambda_1 + \lambda_2}$

我的问题是如何正式证明这种等价性。岭回归和套索也有这两种可能的公式，但我找不到任何证明这种等价性的参考。我在 CrossValidated 中发现的一个类似问题是这个

岭回归背景下的拉格朗日松弛

但我无法理解特里斯坦的解释。我对拉格朗日优化理论有一些了解，我想答案就在这些方面，但是由于所有论文都将等价性视为显而易见的，我想找到一个明确证明这一点的适当参考。