在正则化上下文中，“大”系数意味着估计的大小比使用固定模型规范时的大小要大。这是从数据中获得估计值和模型规范的影响。

考虑一下像逐步回归这样的过程将对给定变量做什么。如果其系数的估计值相对于标准误差较小，它将从模型中删除。这可能是因为真实值确实很小，或者仅仅是因为随机误差（或两者的组合）。如果它被丢弃，那么我们将不再关注它。另一方面，如果估计值相对于其标准误差较大，它将被保留。注意不平衡：当系数估计值小时，我们的最终模型将拒绝一个变量，但当估计值很大时，我们将保留它。因此，我们很可能高估了它的价值。

换句话说，过度拟合意味着你夸大了一组给定的预测变量对响应的影响。但是，您可以夸大影响的唯一方法是估计系数太大（相反，排除的预测变量的估计值太小）。

你应该做的是在你的实验中加入一个变量选择过程，例如逐步回归step。然后在不同的随机样本上多次重复你的实验，并保存估计值。你应该发现，与不使用变量选择相比，系数到的所有估计都系统性地太大了。正则化程序旨在解决或缓解此问题。$\beta_3$$\beta_{10}$

这是我正在谈论的一个例子。

repeat.exp <- function(M)
{
    x <- seq(-2, 2, len=25)
    px <- poly(x, 10)
    colnames(px) <- paste0("x", 1:10)
    out <- setNames(rep(NA, 11), c("(Intercept)", colnames(px)))
    sapply(1:M, function(...) {
        y <- x^2 + rnorm(N, s=2)
        d <- data.frame(px, y)
        b <- coef(step(lm(y ~ x1, data=d), y ~ x1 + x2 + x3 + x4 + x5 + x6 + x7 + x8 + x9 + x10, trace=0))
        out[names(b)] <- b
        out
    })
}

set.seed(53520)
z <- repeat.exp(M=1000)

# some time later...
rowMeans(abs(z), na.rm=TRUE)

(Intercept)          x1          x2          x3          x4          x5          x6          x7          x8          x9         x10 
   1.453553    3.162100    6.533642    3.108974    3.204341    3.131208    3.118276    3.217231    3.293691    3.149520    3.073062 

将此与您不使用变量选择时发生的情况进行对比，而只是盲目地适合所有内容。到的估计仍然存在一些误差，但平均偏差要小得多。$\beta_3$$\beta_{10}$

repeat.exp.base <- function(M)
{
    x <- seq(-2, 2, len=25)
    px <- poly(x, 10)
    colnames(px) <- paste0("x", 1:10)
    out <- setNames(rep(NA, 11), c("(Intercept)", colnames(px)))
    sapply(1:M, function(...) {
        y <- x^2 + rnorm(N, s=2)
        d <- data.frame(px, y)
        b <- coef(lm(y ~ ., data=d))
        out[names(b)] <- b
        out
    })
}

set.seed(53520)
z2 <- repeat.exp.base(M=1000)

rowMeans(abs(z2))
(Intercept)          x1          x2          x3          x4          x5          x6          x7          x8          x9         x10 
   1.453553    1.676066    6.400629    1.589061    1.648441    1.584861    1.611819    1.607720    1.656267    1.583362    1.556168 

此外，L1 和 L2 正则化都隐含假设您的所有变量以及系数都采用相同的测量单位，即\beta_1的单位变化等同于单位变化。因此，在应用这些技术中的任何一种之前标准化变量的通常步骤。$\beta_1$$\beta_2$

一个非常简单的答案，无需查看您的详细信息：当您过度拟合时，参数估计器往往会获得较大的方差，而在较大的方差下，大值正是您所期望的！

大卫。我认为你的例子的问题是你没有标准化你的数据（即 X^10>> X.

所以大卫是对的，它更多地缩小了更大的系数（所以你最终可以得到很多小系数，而 L1 正则化可能会给你一个大的而其余的为零）

所以基本上它封装了小的变化应该有小的影响（当然，我们回到了有多小的问题 - 规范化你的数据等）。但关键是在更高维度中，相关性开始发挥作用：假设您有两个高度相关的变量 x,y（均归一化为方差 1），那么它们的差异将很小 =“噪声” - 因此会惩罚大权重防止您适应这种噪声（并且使 y 和 x 的几乎抵消系数变得非常大）。

该示例仍然适用于任何线性关系 (y=mx)

查找岭回归

这张图片来自我对 Andrew Ng 的 DL 课程的笔记，如果您有任何问题，请告诉我