简而言之，岭回归和套索是针对预测而非推理而优化的回归技术。

正态回归为您提供无偏回归系数（“在数据集中观察到的最大似然估计”）。

岭回归和套索回归允许您正则化（“缩小”）系数。这意味着估计的系数被推向 0，以使它们在新数据集上更好地工作（“针对预测进行优化”）。这允许您使用复杂的模型并同时避免过度拟合。

对于 ridge 和 lasso，你必须设置一个所谓的“元参数”来定义如何进行积极的正则化。元参数通常通过交叉验证来选择。对于岭回归，元参数通常称为“alpha”或“L2”；它只是定义了正则化强度。对于 LASSO，元参数通常称为“lambda”或“L1”。与 Ridge 相比，LASSO 正则化实际上会将不太重要的预测变量设置为 0，并帮助您选择可以被排除在模型之外的预测变量。这两种方法结合在“弹性网络”正则化中。在这里，可以设置两个参数，“L2”定义正则化强度，“L1”定义所需的稀疏度。

在这里你可以找到一个很好的主题介绍：http ://scikit-learn.org/stable/modules/linear_model.html

即使线性模型对于创建模型的数据可能是最佳的，但不一定保证它是对未见数据进行预测的最佳模型

如果我们的基础数据遵循一个相对简单的模型，并且我们使用的模型对于任务来说过于复杂，那么我们实际上所做的就是过于重视数据中任何可能的变化或变化。即使我们的数据发生最轻微的变化，我们的模型也会反应过度和过度补偿。统计学和机器学习领域的人把这种现象称为过拟合。当数据集中的特征与其他特征高度线性相关时，线性模型可能会过拟合。

岭回归，通过对系数太大的模型添加惩罚来避免过度拟合。

这完全取决于您要处理的问题类型。乍一看，决定选择一个模型可能很棘手。我认为，首先你应该了解数据集以及特征如何相互交互，并提出要用于建模的数据集的良好表示，然后是你的模型选择。

假设您的数据集中具有高维度和高相关性，那么您会更喜欢 L1（套索）正则化，因为它更多地惩罚不太重要的特征并使它们为零，这为您提供了算法特征选择的好处，并且比L2(ridge) 正则化，但有时它可以从模型中删除某些信号，即使它们有信息，所以应该谨慎使用。

L2 正则化通过更多地关注与不太重要的特征相比对整体误差贡献更大的重要特征来处理模型复杂性。但是，它仍然使用来自模型中不太重要的特征的信息。不同的特征对整体误差的贡献不同，自然我们的追求是更多地关注对误差贡献更大的重要特征，而不是可以通过 L2(ridge) 正则化处理的不太重要的特征。