我正在学习岭回归,并且知道在存在多重共线性的情况下,岭回归往往会更好地工作。我想知道为什么这是真的?直观的答案或数学的答案都会令人满意(这两种类型的答案都会更令人满意)。
另外,我知道总是可以得到
我正在学习岭回归,并且知道在存在多重共线性的情况下,岭回归往往会更好地工作。我想知道为什么这是真的?直观的答案或数学的答案都会令人满意(这两种类型的答案都会更令人满意)。
另外,我知道总是可以得到
考虑 2 个预测变量(,)的简单情况。如果两个预测变量中没有或几乎没有共线性且分布良好,那么我们正在为数据拟合一个平面(是第 3 维)并且通常有一个非常清晰的“最佳”平面。但是对于共线性,这种关系实际上是一条穿过 3 维空间的线,数据分散在它周围。但是回归例程试图将一个平面拟合到一条线,因此有无数个平面与该线完美相交,选择哪个平面取决于数据中的影响点,稍微改变其中一个点,然后“最佳”拟合平面发生了很大变化。岭回归所做的是将所选平面拉向更简单/更健全的模型(偏差值向 0)。想一想从原点 (0,0,0) 到平面的橡皮筋,将平面拉向 0,而数据会将其拉开以达成一个不错的折衷。