我对如何使用 PRESS 统计数据来比较模型感到困惑。我知道 PRESS 统计数据是通过将残差的平方求和来计算的：
个数据点的观察值和预测值之间的差异，预测来自在删除第我的困惑在于，每次删除数据点时都会估计一个新的回归方程（因此是一个新模型）（因此的过程中训练了不同的模型） - 所以最终的 PRESS 统计数据与单个模型。在这种情况下，您如何使用 PRESS 统计数据来比较两个不同的模型？您如何计算给定回归模型的 PRESS 统计量？我想我在这里的某个地方犯了一个基本错误，但不确定我的推理在哪里。谢谢你的帮助。
您可以通过一次遗漏一个样本来计算基于值训练的模型的 PRESS，以了解其样本外性能。因此，虽然您确实最终使用模型来确定统计数据，但您最终会使用在所有值上训练的原始模型。
由于您一次只遗漏一个观察值（如在 LOOCV 中），因此添加“最后一个”样本对最终模型的影响最小。因此，您可以安全地使用 PRESS 来比较模型，即使您正在比较的实际模型并未用于计算它。
如果您有更大的样本量，您可以考虑嵌套交叉验证的形式，将模型与内部交叉验证进行比较，并在外部交叉验证循环上评估“获胜”模型的性能。
“我的困惑在于，每次删除数据点时都会估计一个新的回归方程（因此是一个新模型）”
通常情况并非如此，至少对于标准 [ridge-] 回归模型而言；您实际上并不是每次都创建一个新模型，而是可以通过查看“帽子矩阵”来计算该模型的输出
您可以将帽子矩阵视为向每个数据点提供有关模型稳定性的信息（“杠杆”），因此您可以将其视为模型质量的表示。如果模型对其已拟合的特定数据样本高度敏感（点具有高杠杆率），则其 PRESS 统计量将远高于重新替换 MSE（训练数据上的 MSE）。
但是，最好将交叉验证（包括 PRESS）视为评估构建模型的方法的性能的一种手段，而不是直接评估模型本身。所以 PRESS 是对在整个数据集上使用该过程训练的模型的泛化性能的估计。