我对 Jelle 的评论的第一反应是“bias-schmias”。您必须小心“大量预测变量”的含义。这在以下方面可能是“大”的：

1. 数据点的数量（“big p small n”）
2. 您必须调查变量的时间
3. 反转巨型矩阵的计算成本

我的反应是基于第 1 点的“大”。这是因为在这种情况下，通常值得在偏差上进行权衡，以减少您获得的方差。偏见仅在“长期”中很重要。所以如果你有一个小样本，那么谁在乎“长期”呢？

说了这么多，可能不是一个特别好的计算量，尤其是当你有很多变量时（因为这几乎就是告诉你的所有内容：你有很多变量）。我会使用交叉验证来计算更像“预测错误”的东西。$R^2$$R^2$

理想情况下，这种“预测误差”应该基于您的建模情况的上下文。您基本上想回答“我的模型再现数据的效果如何？”这个问题。您所处的环境应该能够告诉您“有多好”在现实世界中的含义。然后，您需要将其转换为某种数学方程式。

但是，我没有明显的背景可以脱离这个问题。所以“默认”类似于 PRESS： Where是在没有第 i 个数据点的情况下拟合模型的预测值不影响模型参数）。求和中的项也称为“删除残差”。模型拟合的计算成本太高（尽管大多数程序通常会在标准输出中为您提供类似的东西），那么我建议对数据进行分组。所以你设置你准备等待

$$PRESS=\sum_{i=1}^{N} (Y_{i}-\hat{Y}_{i,-i})^2$$ $\hat{Y}_{i,-i}$$Y_{i}$$Y_i$$N$$T$（最好不是 0 ^_^），然后将其除以适合模型所需的时间。这将给出总共重新拟合，样本大小为。 一种方式您可以了解每个变量的重要性，即重新拟合普通回归（变量顺序相同）。然后按比例检查每个估计量向零缩小了多少$M$$G=\frac{T}{M}$$N_{g}=\frac{N\times M}{T}$ $$PRESS=\sum_{g=1}^{G}\sum_{i=1}^{N_{g}} (Y_{ig}-\hat{Y}_{ig,-g})^2$$ $\frac{\beta_{LASSO}}{\beta_{UNCONSTRAINED}}$. Lasso 和其他约束回归可以被视为“平滑变量选择”，因为不是采用二元“进或出”方法，而是每个估计值接近于零，具体取决于它对模型的重要性（如由误差测量）。

R 包hdm和 Stata 包lassopack支持对 lasso 进行联合显着性检验。该理论允许预测变量的数量相对于观测值的数量很大。hdm文档中简要说明了测试背后的理论以及如何应用它。简而言之，它基于理论驱动的惩罚框架（由 Belloni、Chernozhukov 和 Hansen 等人开发）。如果您想了解更多有关基本理论的信息，本文是一个很好的起点。唯一的缺点是该测试仅适用于套索和（平方根套索）。不适用于其他惩罚回归方法。

Belloni, A. , Chen, D. , Chernozhukov, V. 和 Hansen, C. (2012)，适用于知名领域的最优仪器的稀疏模型和方法。计量经济学，80：2369-2429。