我只需要简单解释一下岭回归到底是什么,这样我就可以对它有一个不错的直观理解。我知道这是关于对回归系数应用某种惩罚......但除此之外,我对它与其他类型的执行惩罚的回归有何不同感到有点困惑。在什么情况下你应该使用岭回归而不是其他类型的回归?
什么是岭回归?
机器算法验证
回归
岭回归
2022-02-14 11:39:34
2个回答
岭回归是一种补救措施,用于缓解模型中回归预测变量之间的多重共线性。回归中使用的预测变量通常是高度相关的。当它们是时,任何一个变量的回归系数取决于模型中包含哪些其他预测变量,哪些被排除在外。(因此,预测变量不反映该特定预测变量对响应变量的任何固有影响,而仅反映边际或部分影响,假设模型中包含任何其他相关预测变量)。岭回归为变量添加了一个小的偏差因子,以缓解这个问题。希望有帮助。
上面的帖子很好地描述了岭回归及其数学基础。但是,与其他收缩方法相比,它们没有解决应该在哪里使用岭回归的问题。可能是这样,因为没有特定情况表明一种收缩方法比另一种方法表现更好。有许多不同的方法可以解决预测变量之间的多重共线性问题,具体取决于其来源。岭回归恰好是通过缩小(在某些情况下,将其缩小到接近或等于零,对于较大的调整参数值)高度相关变量的系数估计来解决多重共线性问题的方法之一。
与最小二乘法不同,岭回归为不同的调整参数值生成一组系数估计值。因此,建议使用岭回归(系数估计集)的结果和模型选择技术(例如交叉验证)来确定给定数据的最合适模型。