如果我们只对估计（和解释）模型参数感兴趣，而不是预测或预测，那么正则化会有所帮助吗？

如果您的目标是对新数据做出良好的预测，我看到正则化/交叉验证非常有用。但是，如果您从事的是传统经济学，而您所关心的只是估算呢？$\beta$? 交叉验证在这种情况下也有用吗？我在概念上遇到的困难是我们实际上可以计算$\mathcal{L}\left(Y, \hat{Y}\right)$在测试数据上，但我们永远无法计算$\mathcal{L}\left(\beta, \hat{\beta}\right)$因为真实$\beta$根据定义，从未观察到。（假设假设甚至存在一个真实的$\beta$，即我们知道生成数据的模型系列。）

假设你的损失是$\mathcal{L}\left(\beta, \hat{\beta}\right) = \lVert \beta - \hat{\beta} \rVert$. 您面临偏差-方差权衡，对吗？所以，理论上，你最好做一些正则化。但是你怎么可能选择你的正则化参数呢？

我很高兴看到一个线性回归模型的简单数值示例，其系数为$\beta \equiv (\beta_1, \beta_2, \ldots, \beta_k)$，其中研究人员的损失函数为$\lVert \beta - \hat{\beta} \rVert$，甚至只是$(\beta_1 - \hat{\beta}_1)^2$。在实践中，如何使用交叉验证来改善这些示例中的预期损失？

编辑：DJohnson 将我指向与此问题相关的https://www.cs.cornell.edu/home/kleinber/aer15-prediction.pdf 。作者写道

机器学习技术......提供了一种严格的方法来预测 $\hat{Y}$，它（i）使用数据本身来决定如何进行偏差 - 方差权衡，并且（ii）允许搜索非常丰富的集合变量和函数形式。但是一切都是有代价的：必须始终牢记，因为它们针对$\hat{Y}$进行了调整，所以它们 不会（没有许多其他假设）为$\hat{\beta}$提供非常有用的保证。

另一篇相关论文，再次感谢 DJohnson： http ://arxiv.org/pdf/1504.01132v3.pdf 。本文解决了我在上面遇到的问题：

将机器学习方法（例如现成的回归树）应用于因果推理问题的一个基本挑战是，基于交叉验证的正则化方法通常依赖于观察“基本事实”，即实际结果在交叉验证样本中。然而，如果我们的目标是最小化处理效果的均方误差，我们会遇到 [11] 所说的“因果推理的基本问题”：没有观察到任何单个单元的因果效应，因此我们不直接有一个基本事实。我们通过提出构建治疗因果效应的均方误差的无偏估计的方法来解决这个问题。