Frank & Friedman (1993)提出了桥估计的想法，用惩罚函数作为理解子集选择和岭回归的范例。 -norm对应于子集选择方法，是 LASSO，是岭回归。他们指出，同时估计参数和以扩大可能模型的选择范围是有益的，但没有进一步开发该方法。参数控制估计的大小（）或收缩量，而$P_B=\lambda\sum_j|\alpha_j|^\gamma$$\ell_0$$\ell_1$$\ell_2$$\lambda$$\gamma$$\lambda$$\hat\alpha_j^B$$\gamma$参数确定参数相对于坐标轴对齐的方向。

当：$\gamma\in(0,1)$

• 惩罚函数是凹函数。下图显示了凹惩罚函数（虚线）与 LASSO 惩罚函数（实线）的对比。 $P_B=\lambda\sum_j|\alpha_j|^\gamma$

• 一些参数设置为零，收缩与参数的大小成反比。该图显示了阈值函数，其中是 OLS 估计值。在这里，当和或时，大参数几乎没有受到收缩的影响。使用 LASSO（实线），收缩是恒定的。 $\hat\alpha_j - sign(\hat\alpha_j)\lambda\gamma|\hat\alpha_j|^{\gamma-1}$$\hat\alpha_j$$\lambda=4$$\gamma=0.25$$\gamma=0.5$

• 估计很可能发生在轴上。该图显示了（左）和（右）对于的规范球。 $\mathbb{R}^2$$\mathbb{R}^3$$\gamma=0.5$

请参阅Kirkland (2014)的第 118-119 和 126-127 页，将这些数字与的其他值进行比较。本硕士论文还概述了其他收缩方法。$\gamma$

Knight & Fu (2000)表明桥接估计是一致的并且具有渐近正态分布。

凹惩罚函数背后的主要思想是对大参数的惩罚较少，因此得到的估计值几乎是无偏的。我知道其他 2 种利用凹面惩罚的收缩方法，您可能会感兴趣：

• Fan & Li (2001)提出了 SCAD，这是第一个具有 oracle 属性的收缩方法。尽管自适应 LASSO 是预言机，但使用 SCAD 时偏差可能会以更快的速度减小。

• Zhang (2010)提出了 MCP，它遵循与 SCAD 类似的方法，但对较小参数的惩罚较少。

尽管具有在零处也是不可微分的凹惩罚，但它们都提供了用于计算解的有效算法，即使在时的高维设置中也是如此。$p\geq n$