我的回答将基于 Anders Bjorkstorm Ridge 回归和逆问题对问题的一个很好的回顾（我建议阅读整篇文章）。

本评论的第 4 部分专门用于选择参数$\lambda$在岭回归中引入了几种关键方法：

1. 脊迹对应于图形分析$\hat{\beta}_{i,\lambda}$反对$\lambda$. 一个典型的情节将描述不稳定的（对于一个真正的错误发布的问题，你必须确保在任何情况下都需要这种正则化）不同的行为$\hat{\beta}_{i,\lambda}$估计为$\lambda$接近于零，并且从某个点几乎恒定（大致我们必须检测所有参数的恒定行为交叉区域）。然而，关于这种几乎恒定的行为从哪里开始的决定有些主观。这种方法的好消息是它不需要观察$X$和$y$.
2. $L$-curve它绘制估计参数向量的欧几里得范数$|\hat{{\beta}}_\lambda|$反对剩余规范$|y - X\hat{\beta}_\lambda|$. 形状通常接近字母$L$所以存在一个角来确定最优参数属于哪里（可以选择$L$后者达到最大曲率的曲线，但最好搜索Hansen的文章以获得更多详细信息）。
3. 对于交叉验证，实际上通常选择简单的“留一法”，寻求$\lambda$最大化（或最小化）一些预测准确性标准（你有很多，RMSE和MAPE是两个开始）。2. 和 3. 的难点是你必须观察$X$和$y$在实践中实施它们。