这是正确的。如果没有正则化，您的模型将适合数据集中存在的不相关噪声。这意味着训练集将更适合，但整体预测能力会降低。这是一篇关于过拟合和正则化的好文章。

您还可以通过观看这些图像获得一些直觉： 没有正则化 使用正则化 您可以清楚地看到第一张图像的形状在左上角的预测存在问题，但它完全适合训练点。

对，那是正确的。

例如，考虑一个多项式$a_n x^n + a_{n-1} x^{n-1} + \dots + a_2 x^2 + a_1 x^1 + a_0 x^0$应该适合 100 个数据点$(x_, y_i)$哪里都有$y_i$由一个带有一些噪声的多项式生成。当然，您总是可以将模型完美地拟合到产生 MSE 错误的数据

为 0。但考虑到存在噪音，您实际上可能更喜欢“更简单”的模型。考虑简单性的一种方法是使用权重$a_i$哪个更小。这是通过向误差添加正则化项来完成的。一种常见的正则化是$L_1$ 正则化 ($+ \sum_{1}^{100} | a_i |$)，另一个是 $L_2$ 正则化 ($+ \sum_{1}^{100} a_i^2$）。