假设你有数据，其中你的目标是建立一个模型（比如, ) 在给定的情况下预测。具体而言，假设数据是每天，对应今天。$\{Y_t,X_{t-h}\}_{t=h+1}^T$$h \in \{1,2,\ldots\},$$\hat f(X_{t-h})$$Y_t$$X_{t-h}$$T$

的所有可用数据来估计模型，然后将模型的拟合值与实际实现进行比较。然而，众所周知，这个过程对模型的预测能力过于乐观，因为常见的拟合算法（例如使用平方误差或似然标准）往往会努力避免大的预测误差，因此容易受到过度拟合 - 错误噪声的影响用于数据中的信号。$T$

真正的样本外分析是根据截至今天（包括今天）的数据估计模型，构建明天值的预测，等到明天，记录预测误差重新估计模型，对进行新的预测，等等。在本练习结束时，将有一个预测误差样本，这将是真正的样本外，并且会给出一个非常真实的图片模型的性能。$Y_{T+1}$$e_{T+1} \equiv Y_{T+1} - \hat f(X_{T+1-h}),$$Y_{T+2}$$\{e_{T+l}\}_{l=1}^L$

由于这个过程非常耗时，人们经常求助于“伪”或“模拟”样本外分析，这意味着模仿上一段中描述的过程，使用一些历史日期，而不是比今天的日期，作为起点。然后使用得到的预测误差来估计模型的样本外预测能力。$T_0 < T$$T$$\{e_t\}_{t=T_0+1}^T$

请注意，伪样本外分析并不是估计模型样本外性能的唯一方法。替代方案包括交叉验证和信息标准。

第 7 章对所有这些问题进行了很好的讨论。

[旧链接]

http://www.stanford.edu/~hastie/local.ftp/Springer/OLD/ESLII_print4.pdf

[新链接，2021 年 11 月 1 日]

https://web.stanford.edu/~hastie/Papers/ESLII.pdf