据我所知,我们有以下岭回归方程:
RSSRidge=Σni=1(y^i−yi)2−λΣpj=1(β2)
首先,在我看来,如果 lambda 变高并不意味着系数与 lambda 成反比下降。因为 beta 的幂是 2 而 lambda 是 1。
我认为您参考了“统计学习简介”一书的第226页。在该图的脚注中,作者说:
"The ridge regression and lasso coefficient estimates for a simple setting with n = p and X
a diagonal matrix with 1’s on the diagonal. Left: The ridge regression coefficient estimates
are shrunken proportionally towards zero, relative to the least-squares estimates.
Right: The lasso coefficient estimates are soft-thresholded towards zero."
在该图中显示,如果我们在 OLS 模型中得到 +2 和 -2 系数,并且如果 Ridge 缩小 +2 到 +1.8,那么我们确信 Ridge 将缩小 -2 到 -1.8。因此,在这两种情况下,具有相同比例的 0.2 系数接近于零。