问题 1

是的，如果我们说三个变量（在这里写出来会很乏味），那么所有包含 1 个预测变量的模型都将被拟合：

$$y_i = \beta_0 + \beta_1 x_{i1} + \varepsilon_i$$ $$y_i = \beta_0 + \beta_1 x_{i2} + \varepsilon_i$$ $$y_i = \beta_0 + \beta_1 x_{i3} + \varepsilon_i$$

然后包含两个预测变量的所有组合

$$y_i = \beta_0 + \beta_1 x_{i1} + \beta_1 x_{i2} + \varepsilon_i$$ $$y_i = \beta_0 + \beta_1 x_{i2} + \beta_1 x_{i3} + \varepsilon_i$$ $$y_i = \beta_0 + \beta_1 x_{i1} + \beta_1 x_{i3} + \varepsilon_i$$

然后是三个预测变量的所有组合，在这种情况下只是一个，完整的模型

$$y_i = \beta_0 + \beta_1 x_{i1} + \beta_1 x_{i2} + \beta_1 x_{i3} + \varepsilon_i$$

问题2

您想如何衡量“最佳” ？常用的度量包括 AIC、BIC 或 Mallow's Cp，或调整后的$R^2$或普通的旧$R^2$. 所有这些都将根据该指标的特征对模型进行排名，但在实践中，它们都在告诉您考虑到模型拟合的复杂性，哪个模型给出了最佳预测（预测准确性或相关）。

经历了这个过程之后，就很难再使用$p$模型中术语的测试值或所有术语的综合测试，因为此类测试对您对数据进行的选择过程一无所知。也不清楚如何通过最佳子集选择“纠正”选择过程的 p 值（Hastie 等人 2009 - 抱歉，我现在无法完全找到该页面，如果我找到它会添加之后）。

此外，因为您使用的是包含硬性阈值（术语在模型中或不在模型中，在这种情况下，它的系数是$\beta_{ij} = 0$) 系数很可能有偏差。如果真实系数较小，则根据您收集的数据样本，可能无法在上述过程中被选中。在这种情况下，您的模型会说系数的估计值为 0，这与真实值相比偏低。保留在模型中的变量也可能具有偏高的系数，因为如果这些项具有很大的影响，则选择过程可能会保留这些项，如果没有，则将其丢弃。

1) 是的。

2）您通过获得每个模型的样本外错误率估计值来进行评估，然后选择具有样本外错误最佳估计值的模型。一些常见的方法是交叉验证，使用完全保留的数据集，以及可以对训练数据本身执行的某种估计，以惩罚参数的数量。在前两种情况下，您有一个适合训练数据的模型，以及您提供的一组模型没有看到的数据。您对保留的数据进行预测，然后使用损失函数的样本估计值（通常是线性回归设置中的残差平方和）。第三种情况包含 AIC 和 BIC 等方法，其中对训练错误率应用惩罚项。

所有这些概念都在书中进行了讨论！继续阅读！