Smooth L1-loss 可以解释为 L1-loss 和 L2-loss 的组合。当参数的绝对值很高时，它表现为 L1-loss，当参数的绝对值接近于零时，它的行为类似于 L2-loss。方程是：

$L_{1;smooth} = \begin{cases}|x| & \text{if $|x|>\alpha$;} \\ \frac{1}{|\alpha|}x^2 & \text{if $|x| \leq \alpha$}\end{cases}$

$\alpha$在这里是一个超参数，通常取为 1。出现在项附近以使其连续。$\frac{1}{\alpha}$$x^2$

值较大时梯度稳定较小时更新期间的振荡较少）的优点。$x$$x$

另一种形式的平滑 L1 损失是 Huber 损失。他们实现了同样的目标。取自维基百科，Huber损失是

$L_\delta (a) = \begin{cases} \frac{1}{2}{a^2} & \text{for } |a| \le \delta, \\ \delta (|a| - \frac{1}{2}\delta), & \text{otherwise.} \end{cases}$