我试图弄明白什么是饱和模型。AFAIK 是当您拥有与观察一样多的特征时。
我们可以说饱和模型是极度过拟合模型的特例吗?
我试图弄明白什么是饱和模型。AFAIK 是当您拥有与观察一样多的特征时。
我们可以说饱和模型是极度过拟合模型的特例吗?
@Tomka 是对的。饱和模型为给定的一组预测变量拟合尽可能多的参数,但它是否过度拟合取决于每个独特的预测变量模式的观察次数。假设您有一个线性模型,在进行 100 次观察,在上对 y 进行 100 次观察。那么模型是饱和的,但肯定不会过拟合。但是,如果您中的每观察结果,则模型是饱和的且完美拟合——无疑是过度拟合†。
当人们谈论具有与观察一样多的参数的饱和模型时,如链接的网页和简历帖子中,他们假设每个预测模式的一个观察的上下文。(或者有时可能以不同的方式使用“观察”——2×2 列联表中的 100 个个体是对个体的 100 个观察,还是对细胞频率的 4 个观察?)
† 顺便说一句,不要从字面上理解“肯定”和“毫无疑问”。对于第一个模型,可能非常小,您无需尝试估计就可以更好地预测,反之亦然。