假设我们有一个秩不足的最小二乘问题

$\min \| X\beta -y \|_{2}$

其中是的零空间中的非零向量。也就是说， 。 $\alpha$$X$$X\alpha=0$

lasso 估计器可以表述为受约束的最小二乘问题，也可以表述为具有包括最小二乘项和一范数正则化的目标的无约束问题。我将使用受约束的公式：

$\min \| X \beta - y \|_{2}^{2}$

受制于

$\| \beta \|_{1} \leq t$

其中是一个固定的正则化参数。令为通过解决此约束优化问题获得的 Lasso 估计量。令是最小二乘问题的最小 2 范数解，并假设。 $t$$\beta_{L}$$\beta_{2}$$\| \beta_{2} \|_{1} \leq t$

现在考虑如果我们试图估计$\beta$

$\beta=\beta_{2}+ s \alpha$ ,

其中是一个非常大的标量。由于项对最小二乘目标没有影响，但大大增加了，我们可以有一个真正的一样好的最小二乘目标值。 $s$$s \alpha$$\| \beta \|_{1}$$\beta$$\beta_{2}$

如果您使用贝叶斯方法，您可以通过指定有效排除此类解决方案的先验来避免此问题。