什么是“饱和”模型?

机器算法验证 造型 回归
2022-02-08 01:43:16

当我们说我们有一个饱和模型时是什么意思?

4个回答

饱和模型是一种估计参数与数据点一样多的模型。根据定义,这将导致完美拟合,但在统计上几乎没有用处,因为您没有剩余数据来估计方差。

例如,如果您有 6 个数据点并为数据拟合 5 阶多项式,则您将拥有一个饱和模型(自变量的 5 次幂中的每一个都有一个参数,加上常数项的一个参数)。

饱和模型是过度参数化到基本上只是对数据进行插值的模型。在某些设置中,例如图像压缩和重建,这不一定是一件坏事,但如果你试图建立一个预测模型,那就很成问题了。

简而言之,饱和模型会导致非常高方差的预测变量被噪声比实际数据更多地推来推去。

作为一个思想实验,假设您有一个饱和模型,并且数据中存在噪声,然后想象将模型拟合数百次,每次都使用不同的噪声实现,然后预测一个新点。每次你都可能得到完全不同的结果,无论是为了你的拟合还是你的预测(多项式模型在这方面尤其令人震惊);换句话说,拟合的方差和预测变量非常高。

相比之下,即使在不同的噪声实现下,未饱和的模型(如果构造合理)也会给出更加一致的拟合,并且预测变量的方差也会降低。

正如其他人之前所说,这意味着您拥有尽可能多的参数和数据点。因此,没有拟合优度测试。但这并不意味着“根据定义”,模型可以完美地拟合任何数据点。我可以通过使用一些无法预测特定数据点的饱和模型的个人经验告诉你。这是非常罕见的,但有可能。

另一个重要的问题是饱和并不意味着没用。例如,在人类认知的数学模型中,模型参数与具有理论背景的特定认知过程相关联。如果模型已饱和,您可以通过只影响特定参数的操作进行重点实验来测试其充分性。如果理论预测与参数估计中观察到的差异(或缺乏)相匹配,那么可以说该模型是有效的。

一个例子:想象一个模型,它有两组参数,一组用于认知处理,另一组用于运动反应。现在想象一下,你有一个有两种情况的实验,一种是参与者的反应能力受损(他们只能用一只手而不是两只手),另一种情况是没有损伤。如果模型有效,则两种条件下的参数估计差异应该只出现在电机响应参数上。

此外,请注意,即使一个模型是非饱和的,它也可能是不可识别的,这意味着参数值的不同组合会产生相同的结果,这会损害任何模型的拟合。

如果您想找到有关这些问题的更多信息,您可能想看看这些论文:

Bamber, D. 和 van Santen, JPH (1985)。一个模型可以有多少参数并且仍然可以测试?数学心理学杂志,29,443-473。

Bamber, D. 和 van Santen, JPH (2000)。如何评估模型的可测试性和可识别性。数学心理学杂志,44,20-40。

干杯

当且仅当模型具有与数据点(观察)一样多的参数时,模型才是饱和的。或者换句话说,在非饱和模型中,自由度大于零。

这基本上意味着这个模型是无用的,因为它没有比原始数据更简洁地描述数据(并且简洁地描述数据通常是使用模型背后的想法)。此外,饱和模型可以(但不一定)提供(无用的)完美拟合,因为它们只是对数据进行插值或迭代。

例如,将平均值作为某些数据的模型。如果您只有一个数据点(例如,5 个),则使用平均值(即 5;请注意,平均值是仅针对一个数据点的饱和模型)根本没有帮助。但是,如果您已经有两个数据点(例如,5 和 7),使用平均值(即 6)作为模型,则可以为您提供比原始数据更简洁的描述。