拟合优度会增加而噪声也会增加吗?

信息处理 信号分析 噪音 统计数据 信号合成 线性预测
2022-02-19 09:39:55

我看到一条推文,幻灯片很好。 它具有随模型复杂度上升的拟合优度曲线。有一条泛化曲线。噪声被引用为 GOF 和泛化性之间的差异。在此处输入图像描述

这就是大多数人习惯于思考“噪音”的方式吗?

1个回答

该图旨在说明过度拟合的后果:如果我们将训练数据拟合得太好,我们也会拟合噪声,从而泛化较差。

“噪声 > 规律性”可以被认为是低 SNR(信噪比)。但是这里有一个缺陷:不需要有噪音就可以发生过度拟合。我们可以想象一个正弦拟合算法,我们输入一百万个 5Hz 的样本,然后尝试在 6Hz 上进行预测:它会惨遭失败,但没有噪音。

无论如何,这里的“噪音”是用来解释某事的,而不是一个定义。这不是我们如何概念化噪音。

该图在另一个方面进行了简化:更大的复杂性不一定会损害泛化。这就是双重下降现象。